Détecter le moindre changement dans les catalogues produits de ses concurrents

Ces dernière semaine, chez Human Coders, on a construit un outil de veille concurrentielle pour suivre le moindre changement de le catalogue de nos concurrents.
On est dans le milieu de la formation, mais applicable à tout site e-commerce.

Grace à cet outil, nous pouvons lister :

  • tous les ajouts/suppressions de fiches produits
  • tous les changement de prix (ou autre attribut)
  • les meilleurs formations d’un concurrent (en se basant sur le nombre de commentaires, de notes…)

Pour ce faire nous avons utilisé :

  • Apify pour le scraping des sites
  • une petite appli Rails faites maison pour récupérer les données, les sauvegarder et les versionner
  • Metabase pour facilement

Je vous explique tout ça ici

1 J'aime

Bonjour
je suis allé lire l’article mais n’étant pas développeur je veux juste savoir si l’application est transposable avec un appui tech ou un petit dev d’ergonomie.
quelle différence avec un gestionnaire de flux rss ?
merci
Xavier

Salut @BCAE-ForcesVives

Pour utiliser un lecteur de flux RSS… il faut un flux RSS. Dans notre cas, il faudrait que nos concurrents publient un flux RSS des nouvelles formations (comme si c’était des articles). Et encore mieux, un flux RSS des changements de prix, de date…
Mais aucun ne le fait :slight_smile:

Du coup, on a utilisé la technique du scraping. C’est un robot qui parcourt les sites et récupère toute les infos dont on a besoin.

Avec un peu de dev, c’est adaptable à tout domaine. On a justement fait le choix de reposer sur des techno comme Metabase pour diminuer la quantité de code.

Une startup a développé le même produit. Il s’agit de Datavora

Proposé avec ❤ ️par Camille Roux