Détecter l'erreur pour la corriger
Afin d’améliorer l’expérience en ligne proposée par la marque, Kusmi Tea développe de nombreux AB tests et afin de suivre leur performance dans le détail, la marque s’aide de Contentsquare pour les monitorer. Pour l’un de ses AB tests, Kusmi Tea suspectait une erreur.
En lançant une analyse JS Error, les équipes se sont aperçues qu’il existait une erreur JavaScript sur l’AB test de la page panier, concernant un segment d’utilisateurs spécifique. D’après leurs estimations, cette erreur engendrait jusqu’à 5K€ de pertes en seulement 11 jours, représentant pas moins de 166K € de revenus en moins par an.
Utilisation du module Quantification des impacts pour mesurer l’impact de l’erreur sur les conversions.
L'analyse
En utilisant le module Quantification des Impacts, Kusmi Tea a pu évaluer précisément l’impact de cette erreur et son niveau de priorisation. En effet, le segment exposé à l’erreur de l’AB test (A) avait un taux de conversion très faible (2,22 %) soit 10 fois inférieur au taux de conversion du segment (B) de 23,9 %.
Avec cette erreur au panier, le segment A convertit 90,7 % moins que le segment B, il y a donc une énorme marge de progression !
_
_
Analyse de la typologie des utilisateurs rencontrant l’erreur lors de l’AB test.
Décrypter l'erreur pour la corriger
Pour mieux corriger l’erreur, Kusmi Tea a cherché à comprendre la typologie des utilisateurs rencontrant l’erreur :
Naviguant sur desktop
Via Linux
Et sur Chrome
De cette manière, la marque de thé a pu plus facilement corriger l’erreur de son AB test. Ainsi, la donnée est de nouveau venue valider une intuition !