Bonjour à tous,
Dans le monde des startups, nous parlons très souvent d’A/B testing.
C’est pourquoi me vient cette question :
Quelles sont les limitations de l’A/B testing ?
1 « J'aime »
Voici un bon article sur le sujet : http://blog.sumall.com/journal/optimizely-got-me-fired.html
4 « J'aime »
Je suis en train de préparer un article sur le sujet, mais en avant-première, disons qu’il y a grosso modo au moins deux grandes classes d’écueils à éviter :
a) Vous ne connaissez rien aux statistiques
Je pense que c’est peut être le piège le plus potentiellement dangereux.
Comme le montre l’article cité supra, et contrairement à ce que disent souvent les vendeurs de solutions d’A/B testing, il est tout à fait possible de faire pire que de ne rien tester.
On peut MAL tester. On peut mener des tests, croire qu’on a une version gagnante, l’implémenter, et en dernière analyse, avoir fait perdre de l’argent à la boite.
Il y a donc un seuil minimum de connaissances à avoir pour faire quelque chose qui a un sens. En cela, les utilisateurs ne sont à nouveau mal guidés par les vendeurs de solution d’A/B testing qui recommandent souvent des tailles d’échantillon ridiculement faibles, qui incitent plus ou moins insidieusement à arrêter des tests trop tôt, etc.
b) Vous vous attendez à sauver votre boite avec l’A/B testing
Si vous n’avez pas de traction, pas de trafic, pas d’utilisateurs, ce n’est pas en changeant 3 trucs sur votre landing page que vous allez faire décoller quoi que ce soit.
L’optimisation, ça permet d’atteindre un optimum local, mais si vous partez d’un point où l’optimum local le plus proche est très bas, vous n’allez pas obtenir grand chose.
C’est pour ça qu’avant d’optimiser quoi que ce soit, il faut aussi être capable de faire un analyse de la valeur que peut procurer le test, si possible en termes de KPI significatifs.
NB : J’en profite ici pour préciser le but de l’« optimisation des taux de conversion », bien mal nommée, ce n’est pas d’obtenir des meilleurs taux de conversion. Si vous voulez des meilleurs taux de conversion, mettez tous vos prix à 0, ça va être top. Certains parlent aujourd’hui d’optimisation des conversions, mais la confusion reste dangereuse.
Donc attention à la fois à ne pas surestimer vos compétences (éduquez vous sur le sujet), ni à avoir des attentes disproportionnées.