Les IA et les recommandations de marques : ce que les données révèlent
Les moteurs d’IA générative — ChatGPT, Claude, Google AI — sont désormais largement sollicités pour des recommandations de marques et de produits. Des entreprises investissent des sommes importantes pour mesurer leur « visibilité AI », au même titre qu’elles ont historiquement suivi leurs positions SEO.
Mais ces mesures ont-elles une valeur statistique réelle ? Pour le savoir, 600 participants ont soumis 12 prompts différents aux trois outils les plus utilisés aux États-Unis, générant 2 961 réponses collectées et normalisées, selon une méthodologie directement inspirée du cadre de cohérence des LLMs développé par Carnegie Mellon : https://arxiv.org/html/2505.23799v1
La conclusion principale contredit une partie des pratiques actuelles — et valide l’autre.
Les IA ne classent pas. Elles tirent au sort.
Moins d’une chance sur cent d’obtenir la même liste deux fois
Soumettre le même prompt 100 fois à ChatGPT ou Google AI produit, dans moins d’un cas sur cent, exactement la même liste de marques. Claude répète légèrement plus souvent les mêmes éléments, mais est encore moins susceptible de les produire dans le même ordre. Sur la question de l’ordre précisément, la probabilité que deux réponses successives présentent les recommandations dans la même séquence tombe à moins d’une chance sur 1 000 — quel que soit le prompt.
Ce n’est pas un bug. C’est le fonctionnement normal des IA : chaque token est sélectionné à partir d’une distribution statistique sur le corpus, ce qui rend chaque réponse structurellement unique. La liste change, l’ordre change, le nombre d’items change. Si une marque n’apparaît pas là où on l’espère, relancer le prompt quelques fois suffit à obtenir un résultat différent.
La taille du secteur change tout
La cohérence des réponses IA n’est pas uniforme. Elle dépend directement du nombre d’entités que l’IA peut retourner pour un sujet donné.
Sur un espace restreint — les fournisseurs cloud pour SaaS, par exemple — la corrélation par paires entre les réponses est élevée et les différences de rang sont faibles. Sur un espace quasi-illimité — les romans de science-fiction récents — la corrélation chute et la variabilité des rangs explose, particulièrement sur Google AI. La corrélation par paires est une mesure de similarité entre réponses empruntée à la méthodologie Carnegie Mellon : https://medium.com/@lewis.fantom9291/beginners-guide-to-pairwise-correlation-pearson-correlation-coefficient-8a7a832c2bfd
Un taux de visibilité de 60 % ne signifie pas la même chose dans un secteur à 8 acteurs et dans un secteur à plusieurs milliers.
Les humains ne formulent pas deux fois le même prompt
Les utilisateurs ne réduisent pas leur intention à des mots-clés minimaux. Ils formulent de façon créative, spécifique, parfois elliptique. 142 prompts ont systématiquement fait remonter les mêmes marques — Bose, Sony, Sennheiser, Apple — avec des taux de présence de 55 à 77 %. Les IA capturent l’intention sous-jacente, indépendamment de la formulation de surface.
Le même test en B2B (agences de design pour coffee shops, secteur large) a confirmé la logique inverse : variabilité des prompts identique, mais taux de visibilité bien plus dispersés, entre 30 et 40 % pour les premiers.
La seule métrique qui tient : la fréquence d’apparition
La position dans une réponse IA est un tirage probabiliste. Elle ne reflète aucun critère ordonné et ne peut pas servir de KPI.
La fréquence d’apparition sur un grand nombre de runs, elle, est statistiquement significative. Interrogé sur les consultants en marketing digital spécialisés e-commerce, Google AI fait apparaître l’agence Smartsites dans 85 réponses sur 95. City of Hope Hospital remonte dans 69 réponses sur 71 pour les recommandations de centres oncologiques sur la côte Ouest américaine — soit un taux de visibilité de 97 %. Ces chiffres reflètent réellement la place qu’une entité occupe dans le corpus de référence du modèle.
En revanche, City of Hope n’est en première position que dans 25 de ces 71 réponses. La position dit quelque chose sur la probabilité de tirage, pas sur l’autorité ou la pertinence de la marque.
Ce qui reste à résoudre
Plusieurs questions n’ont pas encore de réponse empirique solide :
- Combien de runs sont nécessaires pour que le taux de visibilité soit statistiquement fiable ? La réponse varie selon la taille de l’espace.
- API vs interface web : les appels API produisent-ils la même diversité que les interactions humaines ? Des données préliminaires suggèrent que l’écart n’est pas insurmontable, mais ce point reste sous-documenté.
- Prompts synthétiques vs prompts humains : les prompts générés par IA sont-ils un proxy fiable ? Sur les casques audio, oui. Mais pas universellement.
- Obsolescence des données : les résultats portent sur des modèles actifs entre novembre et décembre 2025. Des modèles plus récents peuvent se comporter différemment.
- Exactitude : plusieurs réponses ont recommandé des influenceurs inactifs, des comptes TikTok supprimés, des agences disparues. La visibilité mesure la présence dans le corpus, pas la validité actuelle de l’entité.
Ce qu’il faut faire concrètement
- Arrêter de tracker les positions dans les réponses IA — c’est une donnée sans signification statistique.
- Mesurer la visibilité par fréquence d’apparition : exécuter chaque prompt au minimum 60 à 100 fois et calculer le pourcentage de réponses dans lesquelles la marque apparaît.
- Diversifier les prompts par intention : les humains ne convergent pas vers une formulation standard.
- Calibrer selon la taille du secteur : un taux de 60 % dans un espace restreint et dans un espace large ne sont pas comparables.
- Vérifier l’existence des entités recommandées : les IA citent régulièrement des acteurs qui n’existent plus.
- Exiger la transparence méthodologique de tout prestataire de tracking IA — volumes de runs, tailles d’échantillon, données brutes consultables.
Ce qu’il faut retenir
Les IA ne produisent pas de recommandations de marques stables. Moins d’un run sur cent retourne la même liste, moins d’un sur mille la retourne dans le même ordre. C’est la conséquence directe de leur architecture probabiliste — pas une anomalie.
Tracker la position d’une marque dans les réponses IA n’a donc aucune valeur. En revanche, mesurer sa fréquence d’apparition sur un volume suffisant de runs — le taux de visibilité — est une métrique statistiquement défendable. Elle reflète la place réelle qu’une entité occupe dans le corpus du modèle, quelle que soit la formulation du prompt.
La méthode : 60 à 100 runs minimum par prompt, diversification des formulations, calibration selon la taille du secteur. Toute solution qui vend un « rang dans l’IA » sans base statistique publiée est, au regard des données disponibles, sans fondement.