Trente minutes de méthode — ce qu'est un test A/B, les cinq façons de le rater, et ce que vos effectifs permettent de voir — puis le reste de la séance à chercher : chaque groupe repart avec sa proposition, test ou non, sur le site, Meta, les vidéos ou les clients qui n'ont jamais acheté.
En Smart Data, vous avez décrit, comparé, modélisé, et la plupart des pistes se sont arrêtées au même mur : les données disent ce qui s'est passé, elles ne disent pas ce qui se passerait si l'on changeait quelque chose.
Le code de bienvenue en est l'exemple : aucun effet mesurable sur le retour des clients ni sur leur valeur, et environ 2 150 € de remise par an ; impossible de savoir, avec les fichiers seuls, combien de commandes n'auraient pas eu lieu sans lui, parce que ces clients-là sont invisibles.
Ici, on provoque la différence au lieu de l'attendre : c'est la seule façon d'avoir le droit d'écrire « parce que », et c'est toute la différence entre une analyse et une expérimentation.
Le module tient en une phrase : vous choisissez une piste, vous la transformez en test, vous le menez pour de vrai, et vous défendez ce que vous en tirez.
Ce matin : trente minutes de méthode, puis le reste de la séance à chercher, discuter et proposer — c'est vous qui proposez, je ne distribue pas de sujets.
Un test A/B, c'est une population, un tirage au sort, deux versions qui ne diffèrent que par une chose, la même mesure des deux côtés, et une date d'arrêt fixée d'avance.
Le tirage au sort est le cœur du dispositif : il rend les deux groupes comparables sur tout le reste, y compris sur ce que vous ne savez pas mesurer — l'humeur, la météo, l'ancienneté, le revenu.
C'est ce qui manque à une comparaison avant / après : entre l'avant et l'après, le monde a changé aussi, et vous ne saurez jamais quelle part de l'écart lui revient.
La différence doit être unique : deux versions qui changent à la fois le visuel et le texte ne vous apprennent rien, ni sur le visuel, ni sur le texte.
La mesure est un comportement — un clic, un ajout au panier, une commande — pas une déclaration ; « est-ce que cette publicité vous plaît » ne prédit presque rien de ce que les gens font.
Et le résultat se lit comme au cours précédent : l'écart, le test qui va avec, sa p-value, son intervalle.
Un écart annoncé sans sa p-value n'est pas un résultat.
On change une chose dans le parcours d'achat — la photo, l'ordre des produits, le rappel du port offert à 79 € sur la fiche, la formulation du bouton — et on regarde ce que font les gens.
La mesure est l'ajout au panier ou la commande ; le panier moyen est possible aussi, mais il bouge lentement et demande beaucoup de monde.
La contrainte, c'est le trafic : sans source, pas de test.
Une story, une publication ou une petite campagne suffisent à en amener, et c'est souvent elles qui décident de la taille du test.
C'est le terrain le plus facile pour obtenir du volume : même audience, même budget, deux annonces qui ne diffèrent que par une chose, et la plateforme répartit les gens pour vous.
L'objectif se choisit avant — vendre, recruter des abonnés, faire connaître un parfum — et la mesure suit : le clic, le coût par clic, l'abonnement, la vente.
Le piège est de laisser l'algorithme optimiser : s'il envoie le budget vers l'annonce qui marche le mieux, vous ne comparez plus deux versions, vous observez une décision de Meta.
On teste un format plutôt qu'une création : les trois premières secondes avec ou sans visage, la durée, le texte à l'écran, le produit seul ou en situation, la voix off.
On mesure les vues, la rétention, les partages, et surtout les clics vers la boutique — une vidéo peut gagner en vues et ne rien vendre.
Le piège a été vu en Smart Data : un reel part et écrase tout le reste.
Deux vidéos ne font pas un test ; il faut plusieurs publications par format, ou accepter de ne rien conclure.
La boutique compte 1 094 comptes qui n'ont jamais commandé, dont 938 acceptent les e-mails, auxquels s'ajoutent les paniers abandonnés : c'est la seule population déjà connue et déjà consentante.
On change le message de relance — l'objet, l'argument, la remise ou son absence, le moment d'envoi — et on mesure l'ouverture, le clic, la commande.
C'est le test le plus simple à mener proprement : la liste est connue, le tirage au sort se fait sur un fichier, et le résultat sert directement à la boutique.
Rien n'interdit de croiser deux directions — une annonce Meta qui renvoie vers deux versions du site, par exemple — à condition de ne manipuler qu'une chose à la fois, sinon ce sont deux tests empilés et aucun des deux ne conclut.
Toutes les questions utiles ne s'expérimentent pas : relier les abonnés Instagram aux clients de la boutique, par exemple, est un travail de rapprochement, pas un test — et il peut valoir plus qu'un A/B mal fichu.
Un groupe qui démontre proprement qu'une piste ne se teste pas, et qui propose autre chose à la place, fait un bon travail.
Le critère ne bouge pas : une question qui intéresse la boutique, une méthode qui y répond vraiment, et un résultat qu'on peut discuter.
Le format est libre.
Ce qui ne l'est pas, c'est ce à quoi votre proposition doit répondre.
La décision : qu'est-ce que la boutique fera différemment selon le résultat ?
Si la réponse est « rien », changez de piste.
Ce que vous changez : une chose, décrite assez précisément pour qu'un autre groupe puisse la reproduire.
Ce que vous mesurez : un comportement, avec sa définition exacte — un clic sur quoi, une commande dans quel délai.
Sur qui, et combien : la population, l'effectif attendu par version, et l'écart que cet effectif permet de voir.
Quand ça s'arrête : une date, ou un nombre de personnes atteint, écrit avant de lancer.
Ce que ça coûte et ce que ça rapporte : le budget, le temps, et l'ordre de grandeur du gain si le résultat est positif.
Je passerai dans les groupes toute la fin de la séance ; ce que je refuserai, ce sont les propositions à deux variables, les mesures déclaratives et les effectifs impossibles — pas les idées étranges.
Constituez les groupes, puis cherchez : relisez vos analyses de Smart Data, regardez ce que la boutique a déjà essayé, discutez entre vous de ce qui vaudrait la peine d'être tranché.
Écrivez votre proposition en une page, avec les six réponses du titre précédent ; je passe de groupe en groupe, et on la corrige ensemble.
En partant, chaque groupe doit avoir une piste, une mesure et un ordre de grandeur d'effectif — le reste se construit en janvier.