Idéalement, avant de lancer une campagne, vous vous demandez : combien d’argent faut-il mettre ?
La réponse habituelle consiste à utiliser un entonnoir. Si vous prenez un budget à l’intuition, que vous le divisez par le coût par clic, et multipliez par le taux de conversion, vous obtenez le nombre de ventes. Ce calcul vous donne une moyenne. Ce résultat est donc combien de ventes vous observerez suite à la campagne, peut-être ? En réalité, puisqu’il s’agit d’une moyenne, le vrai nombre de ventes peut énormément varier. Si vous aviez prévu d’avoir une dizaines de ventes, vous pourriez très bien en observer 3 ou 4, ou 15 ou 16.
Ce n’est pas un cas théorique. Deux campagnes identiques peuvent très bien donner des résultats opposés. Si cela arrive, le risque est évidemment d’arrêter une campagne qui fonctionne en réalité, et à l’inverse, de laisser tourner une campagne qui en réalité, ne fonctionnera pas.
Voici comment raisonner y réfléchir :
Le calcul
Vous envisagez un test sur un canal où le clic coûte 3 € et où votre taux de conversion est de 1 %. Votre coût d’acquisition attendu est donc :
3 € / 1 % = 300 € par conversion
Avec un budget de 500 €, vous obtenez environ 167 clics, donc 1,67 conversion attendue.
Evidemment, c’est impossible d’avoir 1,67 ventes, mentalement, vous vous dîtes “c’est souvent deux ventes, parfois une seule”. C’est peu mais que ça suffira pour voir, et on lance.
Une campagne est en fait une série de tirages
En probabilité, on parle de tirage. Un tirage est un évenement qui a une certaine probabilité. Chaque clic est un tirage indépendant (qui ne dépend pas des autres clics de la campagne) qui réussit avec une probabilité de 1 %. Le nombre de conversions que vous obtiendrez n’est bien sûr pas 1,67, ce sera un nombre entier. Son espéreance (le % de conversions que nous pouvons espérer avoir après un certain temps) est 1,67%.
Intuitivement, si vous jouez à pile ou face, chaque évenement (pile ou face) a 50% de chance de se produire. Mais vous ne seriez pas surpris de faire 3 faces de suite, même si c’est improbable, il est facile de reconnaître que “ça arrive”. Pour les campagnes, c’est la même chose. Si votre taux de conversion est faible, il est possible de n’obtenir aucune conversion, même si c’est “pas trop fréquent” (mais en réalité c’est assez fréquent).
La probabilité de n’obtenir aucune conversion vaut approximativement :
P(zéro conversion) ≈ e^(−nombre de conversions attendues)
Ce qui donne :
| Conversions attendues | Probabilité de repartir avec zéro |
|---|---|
| 0,5 | 61 % |
| 1 | 37 % |
| 1,67 | 19 % |
| 2 | 14 % |
| 3 | 5 % |
| 5 | 0,7 % |
| 10 | 0,005 % |
Dans notre exemple à 500 €, il y a donc près d’une chance sur cinq de ne voir aucune conversion. Et cela, alors même que le canal fonctionne exactement comme prévu, que la créa est bonne et que le ciblage est correct.
Et que se passe-t-il dans ce cas ? On conclut que le canal ne marche pas. On a tort, bien spur, mais il n’a aucun moyen de le savoir avec les informations disponibles actuellement. C’est un faux négatif, qui vous a coûté 500 €.
Notons aussi que si vous dépensez exactement de quoi avoir une seule conversion,: vous avez 37 % de chances de repartir bredouille. C’est contre-intuitif, et pourtant c’est assez fréquent sur les petits budgets.
Règle n°1 : trois fois le CAC
Si l’on veut être raisonnablement sûr d’obtenir au moins une conversion, disons 95 % de chances, il faut viser trois conversions attendues.
Budget minimum = 3 × votre coût d’acquisition estimé
Dans notre exemple : 3 × 300 € = 900 €.
C’est le premier seuil. Et c’est assez facile à retenir. En dessous de ce budget minimal, l’inceritude est telle que c’est comme si on jouait à pile où face.
Mais attention : ce seuil de 3xCAC augmente seulement les chances d’observer des conversions. Cela ne dit rien de plus.
Règle n°2 : la précision du CAC
Supposons qu’on obtient trois conversions pour 900 €. Le coût d’acquisition mesuré est de 300 €. C’est bien. Est-ce que c’est fiable ? Vous vous doutez sûrement que non. Quand les conversions sont rares, l’incertitude relative suit une règle simple :
Incertitude relative ≈ 1 / √(nombre de conversions)
Ce qui donne :
| Conversions observées | Marge d’erreur sur le CAC | Ce que ça veut dire |
|---|---|---|
| 1 | ± 100 % | Vous ne savez rien |
| 3 | ± 58 % | Un ordre de grandeur, au mieux |
| 11 | ± 30 % | Une estimation grossière, utilisable |
| 25 | ± 20 % | Correct pour décider |
| 100 | ± 10 % | Solide |
Avec 3 conversions observées sur 300 clics, le CAC « de 300 € » se situe en réalité quelque part entre 100 € et 880 €. Selon l’extrémité de cette fourchette, la campagne est tiptop, ou franchement irresponable. Nous avons une donnée, mais pas d’information.
Cette fourchette, c’est l’intervalle de confiance.
Qu’est-ce qu’un intervalle de confiance ?
Un intervalle de confiance est la fourchette des valeurs plausibles pour une grandeur qu’on ne peut pas mesurer directement, calculée à partir des observations.
Au sens statistique, on ne connaît jamais son « vrai » taux de conversion. On observe des clics et des conversions, et on en déduit une estimation. L’intervalle de confiance permet de mesurer à quel point cette estimation est floue.
On parle souvent, en recherche, d’un intervalle de confiance à 95%. Le « 95 % » signifie que si on répète l’opération un grand nombre de fois, 95 % des intervalles construits de cette façon contiendraient la vraie valeur. Dans la pratique courante, on le lit comme « la zone des valeurs qu’on ne peut pas exclure ». C’est une approximation acceptable pour prendre des décisions.
Ce qui compte pour la taille des intervalles, c’est le nombre d’événements observés, pas le budget dépensé ni la durée de la campagne. Reprenons notre exemple à 3 € le clic :
| Clics | Conversions | Taux observé | Intervalle de confiance | Le CAC est quelque part entre |
|---|---|---|---|---|
| 300 | 3 | 1 % | 0,34 % – 2,9 % | 100 € et 880 € |
| 2 500 | 25 | 1 % | 0,68 % – 1,47 % | 205 € et 440 € |
Avec le même taux observé, les deux situations sont radicalement différentes. Dans le premier cas, on ne peut rien décider. Dans le second, on sait que votre CAC est probablement inférieur à 450 €, ce qui suffit à décider si la marge permet la campagne.
Deux erreurs de lecture courante :
- « Mon taux de conversion est de 1 % » : pas vraiment. 1 % est le centre de la fourchette, mais sur de petits volumes cette fourchette est immense. Un bon réflexe serait d’annoncer l’intervalle plutôt que juste le milieu.
- « La campagne A fait 1,4 %, la campagne B fait 1,1 %, donc A est meilleure » : encore une fois, non. Si les intervalles se chevauchent largement, cela ne permet pas de désigner un gagnant.
Note technique, pour ceux qui calculent eux-mêmes : la formule d’intervalle enseignée par défaut (l’approximation normale) devient fausse sur de faibles taux et de petits effectifs. Elle produit parfois des bornes négatives. Utilisez plutôt un intervalle de Wilson ou de Clopper-Pearson, disponibles dans tous les tableurs et bibliothèques statistiques. Les chiffres du tableau ci-dessus sont des intervalles de Wilson.
Budget minimum d’estimation ≈ 11 × votre coût d’acquisition, soit environ 3 300 € dans notre exemple, pour une précision de l’ordre de ± 30 %.
C’est le seuil à partir duquel on peut raisonnablement commencer à décider. Si vous avez suivi, c’est plus de trois fois supérieur au précédent.
Règle n°3 : zéro ne veut pas dire zéro ?
Cas de figure réaliste : vous avez dépensé 600 €, obtenu 200 clics, mais aucune conversion. Quelle est votre conclusion ?
La bonne réponse est : « le taux de conversion est probablement inférieur à 1,5 %. » C’est un problème d’estimation fréquent quand on travaille avec des événements rares, comme des conversions.
Pour mesurer cela, on utilise la règle de trois : si on obtient zéro succès sur n essais, la borne haute du taux réel, avec 95 % de confiance, vaut approximativement 3/n.
3 / 200 clics = 1,5 %
Autrement dit, ces 200 clics sans conversion sont parfaitement compatibles avec un taux de conversion de 1 %, ou de 1,4 %. Des taux qui, avec un budget suffisant, seraient peut-être rentables. C’est encore pile où face. On n’a pas assez d’information pour décider.
L’autre sens est vrai aussi : une seule conversion ne prouve pas que ça marche. Obtenir une vente sur 100 clics est compatible avec un taux réel allant d’environ 0,03 % à 5,4 %.
Les trois budgets minimum
En missions, il n’y a pas un seul budget minimum mais trois différents pour différents niveau d’estimation.
| Question | Ordre de grandeur | Dans notre exemple | |
|---|---|---|---|
| Budget d’existence | Vais-je obtenir au moins une conversion ? | 3 × CAC | 900 € |
| Budget d’estimation | Mon CAC est-il dans la bonne zone ? | 11 à 25 × CAC | 3 300 à 7 500 € |
| Budget de comparaison | La version A bat-elle la version B ? | Voir ci-dessous | Plusieurs dizaines de milliers d’euros |
La première chose à faire avec un client est de décider à laquelle de ces trois questions il veut répondre. Le plus souvent, on pense avoir beaucoup plus de certitudes qu’on en a réellement.
L’A/B test
Pour faire court : comparer deux versions coûte beaucoup plus d’argent que de mesurer une grandeur.
Pour détecter avec une confiance raisonnable qu’un taux de conversion passe de 1,5 % à 2 %, soit une amélioration d’un tiers, ce qui serait excellent, il faut de l’ordre de 11 000 clics par version. Soit 22 000 clics au total. À 0,50 € le clic, c’est 11 000 € pour départager deux pages. À 3 € le clic, c’est 66 000 €.
L’ordre de grandeur dépend de l’écart que vous cherchez à détecter. Il évolue avec le carré de la précision, c’est à dire que si vous cherchez à détecter un écart deux fois plus petit, cela vous coûtera quatre fois plus cher.
Une conséquence directe et pratique pour l’immense majorité des PME : on ne peut pas faire d’A/B test sur le taux de conversion. Il s’agit d’un évenement trop rare. Ni sur la couleur d’un bouton, ni sur une formulation d’accroche. Les tests qu’on voit partout avec « +18 % de conversions » sont presque tous réalisés avec des échantillons trop faibles pour signifier quoi que ce soit.
La table de référence
Si vous ne deviez retenir qu’un tableau, c’est celui-ci :
| CAC estimé | Existance (3 ×) | Estimation à ± 30 % (11 ×) | Estimation à ± 20 % (25 ×) |
|---|---|---|---|
| 20 € | 60 € | 220 € | 500 € |
| 50 € | 150 € | 550 € | 1 250 € |
| 100 € | 300 € | 1 100 € | 2 500 € |
| 200 € | 600 € | 2 200 € | 5 000 € |
| 300 € | 900 € | 3 300 € | 7 500 € |
| 500 € | 1 500 € | 5 500 € | 12 500 € |
Le calculateur
Renseignez vos propres paramètres ci-dessous. Le calcul reprend exactement les règles détaillées plus haut.
Calcul effectué dans votre navigateur. Aucune donnée n'est transmise ni enregistrée par le site.
Et si le budget ne suffit pas ?
C’est compréhensible d’être étonné par les budgets élevés nécessaires aux estimations. Il y a tout de même quelques solutions :
1. Mesurez plus haut dans l’entonnoir. L’incertitude vient du fait qu’on mesure un événement rare. Sur 10 000 impressions, vous observez peut-être 200 clics et 3 conversions. Le taux de clic repose sur 200 événements, le taux de conversion sur 3. Le premier est mesurable avec précision mais pas le second. Vous pouvez donc parfaitement comparer deux créas sur leur taux de clic avec un budget modeste, à condition d’accepter que vous mesurez l’attractivité de l’annonce et pas la rentabilité.
2. Testez des écarts grossiers. Puisque le coût évolue avec le carré de l’écart recherché, on peut tester des choses radicalement différentes : deux offres, deux promesses ou deux audiences deux publics. Mais si vous testez deux nuances de la même idée, l’écart sera trop faible.
3. Rallongez la fenêtre. Le budget nécessaire dépend du volume total d’événements. Une campagne à 300 €/mois pendant six mois accumule autant de données qu’une campagne à 1 800 € en un mois. Evidemment, ce n’est pas équivalent, la saisonnalité et l’évolution du marché impactent les résultats, mais c’est souvent mieux que rien ou que pas assez.
4. Accumulez plutôt que de repartir de zéro. Beaucoup d’annonceurs relancent tout à chaque campagne. Si l’offre et la page n’ont pas changé, les données passées restent informatives. Elles donnent une estimation de départ que la nouvelle campagne vient affiner.
5. Assumez de décider sans preuve. Quand aucun budget réaliste ne permet de prendre une décision informée, il faudra décider autrement. L’expérience du secteur et la cohérence de l’offre, ou votre intuition peuvent vous aider. Il faut juste être conscient que la décision a été prise “sans données”.
Le seuil algorithmique va dans le même sens
Un dernier élément qui relève de la même logique.
Les plateformes publicitaires ont besoin de volume pour optimiser. Meta indique ainsi qu’un ensemble de publicités doit générer de l’ordre de 50 conversions par semaine pour sortir de sa phase d’apprentissage et se stabiliser.
Ce chiffre n’est pas statistique au sens strict, mais il va dans la même direction que la thèse de cet article. En dessous d’un certain volume d’événements, l’algorithme n’a pas de quoi apprendre. Si le budget ne peut pas produire ce volume sur l’événement « achat », il suffit d’optimiser la campagne sur un événement plus fréquent, les ajouts au panier ou la prise de contact.
Quand renoncer au test
Il faut savoir ne pas lancer. Si le budget minimal, trois fois votre CAC estimé, dépasse ce que vous pouvez perdre sans conséquence, inutile de lancer.
Ce n’est pas de la prudence excessive : un test sous-financé ne produit pas « un peu d’information ». Il produit un résultat ininterprétable, qui a coûté de l’argent et qui va en plus orienter des décisions futures dans une direction potentiellement fausse. En plus de payer le budget d’un test trop petit, vous risquez d’être entraîné dans une mauvaise décision.
Dans ce cas, mieux vaut consacrer la somme à quelque chose dont le rendement ne dépend pas d’un volume statistique : de la prospection directe, la création de contenu ou un travail sur la page de vente.
Comment présenter ça à un dirigeant
Il faut clarifier les éléments importants de la campagne et les informations à produire par la campagne.
« Qu’est-ce que vous voulez savoir à la fin de ce test ? Quels indicateurs sont concernés ?
C’est aussi, accessoirement, la meilleure protection contre la conversation qui arrive six semaines plus tard : « on a dépensé, on n’a rien eu, ça ne marche pas ».
Que retenir
Trois nombres suffisent à couvrir 90 % des cas :
- 3 × CAC pour avoir une chance raisonnable d’obtenir quelque chose ;
- 11 × CAC pour commencer à savoir combien ça coûte ;
- beaucoup, beaucoup plus pour comparer deux options sur la conversion.
Vous devez arbitrer un budget de test et vous voulez savoir ce qu’il permettra réellement de conclure ? Écrivez-moi.