Ces dernière semaine, chez Human Coders, on a construit un outil de veille concurrentielle pour suivre le moindre changement de le catalogue de nos concurrents.
On est dans le milieu de la formation, mais applicable à tout site e-commerce.
Grace à cet outil, nous pouvons lister :
tous les ajouts/suppressions de fiches produits
tous les changement de prix (ou autre attribut)
les meilleurs formations d’un concurrent (en se basant sur le nombre de commentaires, de notes…)
…
Pour ce faire nous avons utilisé :
Apify pour le scraping des sites
une petite appli Rails faites maison pour récupérer les données, les sauvegarder et les versionner
Bonjour
je suis allé lire l’article mais n’étant pas développeur je veux juste savoir si l’application est transposable avec un appui tech ou un petit dev d’ergonomie.
quelle différence avec un gestionnaire de flux rss ?
merci
Xavier
Pour utiliser un lecteur de flux RSS… il faut un flux RSS. Dans notre cas, il faudrait que nos concurrents publient un flux RSS des nouvelles formations (comme si c’était des articles). Et encore mieux, un flux RSS des changements de prix, de date…
Mais aucun ne le fait
Du coup, on a utilisé la technique du scraping. C’est un robot qui parcourt les sites et récupère toute les infos dont on a besoin.
Avec un peu de dev, c’est adaptable à tout domaine. On a justement fait le choix de reposer sur des techno comme Metabase pour diminuer la quantité de code.
