Smart Data a ouvert des pistes ; ici on les tranche. Quatre directions sont proposées — le site, Meta, les vidéos, les clients qui n'ont jamais acheté — et chaque groupe y choisit sa question : ce qu'il change, ce qu'il mesure, sur combien de monde, et quand il arrête. Le plus souvent un test A/B, parfois autre chose quand la question ne se teste pas.
Transformer une piste d'analyse en question tranchable, puis la trancher pour de vrai : une seule chose manipulée, une mesure comportementale, une date d'arrêt.
On apprend ce qu'une expérience permet de conclure, et à en tirer une décision.
Une recommandation que les fichiers ne peuvent pas trancher : le code de bienvenue, le seuil de port offert, un format de vidéo, les clients qui n'ont jamais commandé.
Le plus souvent un A/B : deux versions, un tirage au sort, un comportement mesuré des deux côtés, une date d'arrêt décidée avant de lancer.
Ce que vous avez trouvé, ce que ça vaut, ce que l'entreprise doit en faire : écrit en mars, défendu le 17.
Trente minutes de méthode — ce qu'est un test A/B, les cinq façons de le rater, et ce que vos effectifs permettent de voir — puis le reste de la séance à chercher : chaque groupe repart avec sa proposition, test ou non, sur le site, Meta, les vidéos ou les clients qui n'ont jamais acheté.
Chaque groupe présente sa proposition devenue protocole : ce qui est manipulé, ce qui est mesuré, sur qui, combien, et jusqu'à quand. On corrige devant tout le monde, puis on monte ce qu'il faut — page, campagne, relance, grille de codage — pour pouvoir lancer.
Derniers réglages et mise en route : les versions partent en ligne, les campagnes et les relances démarrent, la règle d'arrêt est écrite avant le premier clic. On vérifie ensemble que la mesure arrive bien là où on l'attend.
De l'export brut à la phrase de résultat : effectifs par version, écart observé, test, p-value, incertitude, et la traduction en décision pour l'entreprise. Chaque groupe travaille sur ses données, je circule.
Chaque groupe défend son expérimentation : ce qu'il a testé, ce qu'il a trouvé, ce qu'il n'a pas pu conclure, et ce qu'il recommande. Le dossier est lu avant ; l'oral sert à le défendre.
Deux notes de même poids, toutes deux de groupe : un dossier qui raconte ce que vous avez testé et ce que vous en concluez, et un oral où vous le défendez.
L'Expérimentation pèse la moitié de la note du module Focus marketing avancé ; l'autre moitié revient au Marketing Automation.
Ce qui est noté n'est pas le résultat obtenu : c'est la qualité de la question, la rigueur du dispositif et l'honnêteté de la conclusion.
Un test bien mené qui ne montre rien vaut mieux qu'un test spectaculaire dont personne ne peut dire ce qu'il mesure.
Le dossier suit la chaîne : la piste d'où vous êtes partis et la décision qu'elle commande, ce que vous avez changé et ce que vous avez mesuré, sur qui et combien, ce que vous avez trouvé avec son test et son incertitude, et ce que l'entreprise devrait en faire.
Il dit aussi ce qui n'a pas marché : une collecte plus lente que prévu, une version abandonnée, un biais découvert en route.
C'est ce qui distingue un compte rendu d'une plaquette.
Les chiffres y sont reproductibles : les données brutes et le code qui les traite sont joints, et n'importe quel lecteur doit pouvoir refaire le calcul.
| Dimension | Ce que je regarde | Part |
|---|---|---|
| La question | une décision réelle derrière le test, une seule chose manipulée, une mesure comportementale définie | 30 % |
| Le dispositif | tirage au sort, effectifs annoncés et atteints, période identique des deux côtés, date d'arrêt tenue | 30 % |
| La lecture | l'écart, son test, sa p-value, son incertitude ; ce que le résultat n'autorise pas à conclure | 25 % |
| La recommandation | ce que l'entreprise fait lundi matin, chiffré, avec ce qui ferait changer d'avis | 15 % |
Vous présentez votre expérimentation, puis vous répondez : sur vos choix, sur vos chiffres, et surtout sur ce que vous n'avez pas trouvé.
Chaque membre doit pouvoir défendre n'importe quelle partie du travail.
Le dossier est lu avant : l'oral ne sert pas à le résumer, il sert à le défendre.
| Dimension | Ce que je regarde | Part |
|---|---|---|
| La défense | vous assumez vos choix, y compris ceux qui se sont révélés mauvais | 40 % |
| La maîtrise des chiffres | vous retrouvez un effectif, un écart, un test sans chercher dans vos notes | 30 % |
| Les limites | vous dites ce que votre dispositif ne permet pas de conclure, avant qu'on vous le demande | 20 % |
| La clarté | quelqu'un qui n'a pas lu le dossier comprend l'essentiel en cinq minutes | 10 % |