Expérimenter à l’ère de la donnée

Portées par les progrès technologiques de ces dernières années, de plus en plus d’entreprises s’appuient sur l’expérimentation permanente pour améliorer leurs offres et leur modes de fonctionnement. Il est aujourd’hui facile de collecter des masses de données pour identifier les variantes les plus performantes d’offres, d’outils de communication, de tarification, de processus de production, etc. On peut aussi s’appuyer sur des solutions peu coûteuses pour développer des prototypes ou réaliser des simulations virtuelles de diverses modalités d’expérience utilisateur.

C’est ainsi qu’ Expedia, Netflix ou Google ont construit leur business model. Ces entreprises réalisent des centaines, voire des milliers de tests par jour, avec une véritable rigueur scientifique. Ce faisant, elles ne cherchent pas la prochaine innovation de rupture : elles misent sur des centaines de petites améliorations pour perfectionner sans cesse leur produit. Chez Microsoft Bing, par exemple, les améliorations quotidiennes apportées au moteur de recherche ont permis un accroissement des revenus par recherche de 10 % à 25 % par an depuis plusieurs années ! Cette approche ne concerne pas seulement les services en ligne : des entreprises comme Wal-Mart, FedEx ou H&M font également appel à l’expérimentation permanente pour optimiser leur offre et développer leur chiffre d’affaires.

Ces succès sont séduisants, mais ils cachent un piège : on peut facilement extrapoler des conclusions erronées de tests qui se veulent pourtant scientifiques. Les biais sont nombreux et bien sûr inconscients. C’est ainsi que la chaîne d’animaleries Petco a testé ses idées dans ses 30 meilleurs magasins pendant des années… avant de se rendre compte que les décisions étaient prises d’après des données peu représentatives de ce qui se passait dans les autres magasins. Aujourd’hui, l’entreprise prend soin de choisir ses magasins tests de façon aléatoire, en veillant à ce qu’ils soient représentatifs de l’ensemble du réseau en termes de taille, de démographie et de localisation.

L’expérimentation a toute sa place dans une stratégie fondée sur l’optimisation continue. Mais elle requiert une grande vigilance sur la façon dont les expériences sont construites et leurs résultats interprétés. Voici quelques conseils pour cela.

Dans cette synthèse :
– Éviter les principaux biais d’interprétation des données chiffrées
– Développer une culture de l’expérimentation permanente
– Réaliser un test A/B avec rigueur