← RavenBI

Comment RavenBI sait ce qu’il sait

Chaque chiffre dans RavenBI porte une étiquette. Nous distinguons ce que nous avons observé de ce que nous avons calculé, et nous ne présentons jamais l’un pour l’autre.

Cette page n’est pas une clause de non-responsabilité. C’est le fonctionnement même du produit.

Les cinq types de chiffre

Observé — relevé directement auprès d’une source. Une publicité était diffusée à une date donnée. Un produit affichait un prix donné. Une allégation figurait dans un texte donné. Si nous disons que nous l’avons observé, c’est que nous l’avons vu.

Rapporté — fourni par un tiers, sans vérification indépendante de notre part. La couverture déclarée par les plateformes relève de cette catégorie.

Estimé — produit par un calcul de RavenBI à partir d’éléments observés. Les dépenses publicitaires sont estimées à partir de la couverture et d’un CPM modélisé. Les estimations sont des fourchettes, non des valeurs uniques, et elles portent leurs hypothèses avec elles.

Dérivé — un indicateur que RavenBI calcule à partir de plusieurs éléments. Les scores Winner, Momentum, Opportunity et Threat sont dérivés. Ce sont des indicateurs propriétaires, non des normes du secteur, et ils signifient ce que la présente méthodologie dit qu’ils signifient.

Interprétation par l’IA — un modèle de langage a lu un texte et l’a classé. Lorsque cela est possible, RavenBI expose l’élément de preuve qui sous-tend la classification : la phrase exacte issue de la source. Nos classifications d’arguments publicitaires comportent aujourd’hui cet élément de preuve, et nous l’étendons aux autres classificateurs.

Nos cinq principes

1. Nous distinguons les faits des estimations. Chaque chiffre est étiqueté. Une estimation n’apparaît jamais avec le poids visuel d’une observation.

2. Aucun pourcentage sans sa base. Un pourcentage privé du nombre absolu qui le sous-tend est une figure de rhétorique, non une mesure. RavenBI affiche les deux et supprime les pourcentages lorsque l’échantillon est trop petit pour les étayer.

3. Aucune conclusion sans éléments suffisants. En dessous d’une taille d’échantillon minimale, RavenBI affiche une tendance et un degré de confiance plutôt qu’une valeur précise. Nous préférons dire « en hausse, faible confiance » qu’inventer un chiffre.

4. Une donnée absente reste absente. Lorsqu’une source ne nous dit rien, nous laissons le champ vide. Nous ne comblons pas les lacunes par des valeurs par défaut plausibles et nous ne déduisons pas une valeur d’une catégorie de produit ou d’un nom de marque.

5. Chaque signal a une provenance. Chaque donnée consigne son origine, la date à laquelle elle a été observée, la transformation qui lui a été appliquée et la version du classificateur qui l’a produite. Si un chiffre est un jour contesté, nous pouvons reconstituer exactement la manière dont il a été produit.

Le principe qui les sous-tend tous

RavenBI rapporte ce qu’il observe, étiquette ce qu’il estime et identifie ce qu’il déduit.

D’où viennent nos données

RavenBI combine des informations issues des bibliothèques de transparence publicitaire accessibles au public et exploitées par les plateformes elles-mêmes, de fournisseurs de données tiers sous licence, de sites de marques et de places de marché accessibles au public, ainsi que de sources réglementaires officielles.

Sur cette matière première, nous construisons notre propre couche : résolution d’entités entre marques, produits, publicités, pages de destination et ingrédients ; classification au regard de vocabulaires contrôlés ; instantanés historiques ; et indicateurs dérivés.

Cette seconde couche est ce qui fait de RavenBI davantage qu’un champ de recherche sur des données publiques — et c’est aussi là que résident nos estimations et nos interprétations, raison pour laquelle nous les étiquetons.

Ce que nous ne prétendons pas

Nous ne prétendons pas à une couverture exhaustive. RavenBI observe ce que ses sources exposent. L’absence d’une publicité, d’une marque ou d’un produit dans RavenBI n’établit pas son inexistence.

Nous ne prétendons pas que les estimations sont des chiffres audités. Les estimations de dépenses publicitaires sont des modèles, non des dépenses déclarées par l’annonceur.

Nous ne prétendons pas que nos classifications sont infaillibles. Elles sont produites par des modèles de langage, mesurées au regard d’un jeu de référence arbitré par des personnes, et améliorées lorsque la mesure indique qu’elles doivent l’être.

Comment nous savons si nos classifications valent quelque chose

Nous maintenons un jeu de référence : plusieurs centaines de publicités, étiquetées de manière indépendante par plusieurs évaluateurs qui ne peuvent voir ni les réponses des autres ni celle du système en production. Les désaccords sont tranchés par une personne.

Toute modification d’une consigne, d’un modèle ou d’une taxonomie est mesurée au regard de ce jeu de référence avant d’atteindre les clients. Nous suivons la précision, le rappel et — surtout — la fréquence à laquelle le classificateur garde correctement le silence lorsqu’un texte ne contient tout simplement pas l’information.

Cette dernière mesure compte davantage qu’il n’y paraît. Un classificateur qui produit toujours une réponse paraît sûr de lui et se trompe fréquemment. Nous préférons vous montrer une lacune plutôt qu’une supposition.

Corrections

Si vous estimez qu’un chiffre ou une classification dans RavenBI est erroné, dites-le-nous. Chaque page de marque, de publicité, de produit et d’ingrédient comporte un lien de signalement, et nous vérifions les signalements au regard de la source d’origine.

Corriger une erreur fait partie de la méthode ; ce n’en est pas une exception.