Multivariant testing et A/B Testing : quelle méthode adopter ?

L’A/B testing est une procédure utilisée en marketing qui permet de mesurer l’impact d’un changement de version, d’une variable… Et ce, en fonction d’un objectif (clic, validation, remplissage d’un formulaire, etc..). Au sens strict, un test A/B permet de tester 2 versions de la variable, un test A/B/C  » permet de tester 3 versions de la variable, etc. Le multivariant testing (ou multivariate testing) est un dérivé du test a/b. Il permet de créer une multitude de variantes d’une seule et même page. Par exemple, en mettant en place un multivariate testing, vous allez pouvoir tester 2 titres d’articles différents, 3 publicités différentes ainsi que 5 pieds de pages différents. Cela permet d’analyser objectivement ce qu’il se passe. Ces deux méthodes ont des similarités mais sont tout de même différentes.

Mais quel type de test adopter ?

AB Testing : avantages et limites

Simple dans son concept et sa conception, le test A/B est une méthode de test puissante et largement utilisée.

En maintenant un petit nombre de variables suivies, ces tests peuvent fournir des données fiables très rapidement, car ils ne nécessitent pas un trafic important pour être exécutés. En fait, les tests A/B sont si rapides et faciles à interpréter que certains grands sites les utilisent comme principale méthode de test, en exécutant des cycles de tests les uns après les autres plutôt que des tests multivariés plus complexes.

Il est important de se rappeler que les limites de ce type de test sont résumées dans le nom. Le test A/B est le mieux utilisé pour mesurer l’impact de deux à quatre variables sur les interactions avec la page. Les tests avec plus de variables prennent plus de temps à exécuter et, en soi, le test A/B ne révélera aucune information sur l’interaction entre les variables sur une seule page. 

Multivariant testing : avantages et limites

Le multivariant testing utilise le même mécanisme de base que les tests A/B, mais comparent un plus grand nombre de variables et révèlent davantage d’informations sur la manière dont ces variables interagissent entre elles. Le but de cette méthode est donc de mesurer l’efficacité de chaque combinaison de conception sur l’objectif final.

Une fois qu’un site a reçu suffisamment de trafic pour effectuer le test, les données de chaque variation sont comparées pour trouver non seulement le design le plus réussi, mais aussi pour révéler potentiellement quels éléments ont le plus grand impact positif ou négatif sur l’interaction d’un visiteur.

Ces tests sont un moyen efficace d’aider à cibler les efforts et savoir où ils auront le plus d’impact. Cela est particulièrement utile pour la conception de campagnes de pages de renvoi, des visuels publicitaires, l’expérience utilisateur, etc. Les données relatives à l’impact de la conception d’un certain élément peuvent être appliquées à de futures campagnes, même si le contexte de l’élément a changé, élément que les test A/B ne procurent pas.

La plus grande limite du multivariant testing est la quantité de trafic nécessaire pour effectuer le test. Comme toutes les expériences sont entièrement factorielles, un trop grand nombre d’éléments changeants à la fois peut rapidement donner lieu à un très grand nombre de combinaisons possibles qui doivent être testées.

Même si vous disposez d’informations sur l’impact d’un élément particulier, vous pouvez souhaiter effectuer des cycles de tests A/B supplémentaires pour explorer d’autres idées radicalement différentes. Ainsi, il peut parfois ne pas valoir la peine de consacrer le temps supplémentaire nécessaire à l’exécution d’un test multivarié complet alors que plusieurs tests A/B bien conçus feront bien l’affaire.

Ce qu’il faut retenir est qu’il ne faut pas penser à opposer ces deux méthodes ! Il faut les considérer comme deux puissantes méthodes d’optimisation qui se complètent l’une l’autre. Comment choisir ? Selon les besoins et l’objectif de la finalité voulu par l’entreprise.

Le multivariant testing, vu par des experts

Pour aller plus loin des méthodes de test dans le marketing digital, et particulièrement le multivariant testing, Pierre-Antoine Durgeat de Adventori, Ollivier Monferran de Essity et Marion Gauthier de Ouigo ont répondu aux questions de Michel Juvillier dans The Programmatic Society.

Débats, questions et points de vue, ils partagent leurs idées et opinions sur la question du multivariant testing, futur incontournable du marketing digital.