Données de niche : quand un petit jeu de données bat un grand

Un petit jeu de données tenu à jour peut battre un immense jeu générique. Il peut aussi vous coûter bien plus qu'il ne rapportera jamais. La différence ne tient pas au nombre de lignes, mais à la vitesse à laquelle vos données deviennent fausses, et au fait que quelqu'un agisse ou non à partir d'elles.

Voici comment distinguer les deux avant d'y passer un trimestre.

L'essentiel en bref

• Posséder des données n'est pas une barrière à l'entrée. Les tenir à jour, plus vite que personne d'autre ne s'en donne la peine, s'en rapproche.
• Le chiffre qui décide de tout : quelle part de vos données devient fausse chaque année. Mesurez-le avant d'acheter quoi que ce soit.
• Des données sur lesquelles personne n'agit sont un coût, aussi bonnes soient-elles.
• Le petit gagne quand l'ensemble est délimité, à jour, et rattaché à une décision que quelqu'un prend cette semaine.
• Ne rien faire est une vraie option, et en dessous d'un certain volume elle bat le « construire » comme le « acheter ».

Commencez par les arguments contraires

L'histoire du « nos données propriétaires sont notre douve » est plus fragile qu'elle n'en a l'air, et les sceptiques ont les meilleures preuves.

Andreessen Horowitz a examiné les effets de réseau liés aux données et conclu que la plupart sont en réalité des effets d'échelle, qui s'aplatissent. Dans leur exemple de chatbot de support, au-delà d'environ 40 % des requêtes collectées, plus de données n'apportait plus aucun avantage (The Empty Promise of Data Moats).

Plus gros et plus spécialisé ne gagne pas automatiquement non plus. BloombergGPT a été entraîné sur 363 milliards de mots de textes financiers propriétaires, et un modèle généraliste l'a quand même battu sur les tests financiers pour lesquels il avait été conçu. IBM a passé des années et environ 4 milliards de dollars à assembler des données de santé pour Watson Health, avant d'en revendre les actifs. Zillow a fermé sa branche d'achat immobilier après une perte trimestrielle de 422 millions de dollars sur ce segment.

Presque toutes ces recherches portent sur l'entraînement de grands modèles. Vous n'entraînez probablement rien. Vous donnez quelques milliers de lignes à un agent, ce qui est une situation différente, mal mesurée. Cela coupe dans les deux sens : le dossier contre vous est plus faible qu'il n'y paraît, le dossier pour vous aussi.

Le seul chiffre qui décide de tout

Demandez-vous quelle part de vos données devient fausse en un an. Les prix bougent, les gens changent de poste, les annonces disparaissent, les règles sont modifiées.

Mesurez-le, ne le devinez pas. Prenez un échantillon d'enregistrements, revérifiez-les quelques semaines plus tard contre une source de confiance, et comptez ceux qui ont changé. Ce seul chiffre vous dit trois choses à la fois : à quelle fréquence rafraîchir, ce que ce rafraîchissement coûtera, et combien de temps une copie volée de votre fichier reste utile.

Lisez bien la dernière colonne, c'est la partie que tout le monde prend à l'envers. Une donnée lente est peu coûteuse à maintenir et triviale à copier. Une donnée rapide est coûteuse à maintenir et difficile à copier. « Trouvez des données peu coûteuses à tenir à jour » et « trouvez des données défendables » sont des instructions opposées, et on donne les deux à la fois à la plupart des équipes.

Une réserve honnête sur ce tableau : la cadence suppose un vieillissement régulier. Les sources web pourrissent surtout la première année, donc rafraîchissez plus tôt que ne l'indique le tableau pour tout ce que vous ne contrôlez pas.

Un jeu de données de niche qualifié est assez petit pour être lu ligne à ligne. Six produits suivis, un prix chacun, et un horodatage de dernière observation qui permet de mesurer la vitesse de péremption.

Cinq questions avant d'investir

Elles se traitent en une semaine. Si une source échoue à la question 2 ou 4, arrêtez-vous là.

La question 4 élimine la majorité des candidats, et c'est celle qu'on saute. Un jeu de données qui ne change jamais la décision de personne n'est pas un actif, c'est un abonnement.

Construire, acheter, ou ne rien faire

La plupart des comparaisons opposent construire et acheter en oubliant la troisième option. Ne rien faire a une valeur réelle : vous continuez à décider comme aujourd'hui, à coût nul.

La rentabilité du « construire » se joue sur le volume. Prenons un cas illustratif : 4 000 lignes, environ 30 000 dollars pour construire, environ 11 000 dollars par an pour tenir à jour, et 60 dollars de valeur par décision améliorée. Ce sont des hypothèses de travail, pas des mesures, mais la forme qu'elles produisent est ce qui compte.

Bougez n'importe quelle entrée et le point de bascule bouge avec. La leçon n'est pas le chiffre précis : c'est qu'une décision peu fréquente ne rembourse presque jamais un jeu de données, aussi bon soit-il.

L'achat l'emporte dans un cas précis : quand un fournisseur est presque aussi juste que vous le seriez sur votre créneau. Testez-le avant de signer. Prenez 200 de leurs enregistrements dans votre niche et vérifiez-les vous-même.

Où les données de niche gagnent vraiment

Quatre situations survivent à toutes les objections ci-dessus.

• Vous enregistrez une décision que vous seul prenez. La colonne « résultat » ne se collecte pas, elle se gagne, une décision à la fois.
• Vous observez des événements que personne d'autre ne peut recouper. D'autres voient peut-être l'événement. Vous seul le détenez relié à votre contexte et à votre résultat.
• La donnée bouge vite et vous l'assumez comme un coût récurrent. On ne vole pas une cible mouvante une fois pour toutes : il faut financer le même rafraîchissement, indéfiniment.
• L'ensemble est assez petit pour être vérifié entièrement. À quelques milliers de lignes, tout est vérifiable. À quelques centaines de milliers, personne ne paie la facture.

Et là où ça ne marche pas : un fournisseur le vend déjà comme un produit, la donnée bouge peu et elle est publique, le volume de décisions est trop faible, ou la tâche relève du raisonnement plutôt que de la recherche d'information.

Les questions qu'on nous pose

De combien de données ai-je réellement besoin ?

De moins de lignes que vous ne le croyez, et de plus de fraîcheur que vous ne le croyez. Cent lignes à jour et vérifiées ne battent un million de lignes périmées que si elles couvrent exactement la décision à prendre. La couverture de la décision compte plus que le nombre de lignes.

Acheter un jeu de données est-il parfois le bon choix ?

Oui, quand le fournisseur est proche de votre propre justesse sur votre créneau et que votre volume de décisions se situe dans la bande intermédiaire. Achetez la masse que tout le monde peut copier, et construisez seulement la colonne que personne d'autre ne peut produire.

Comment éviter qu'un jeu de données se périme en silence ?

Mettez un horodatage de dernier contrôle sur chaque ligne et rafraîchissez les plus anciennes d'abord. Un rafraîchissement aléatoire laisse toujours une traîne de lignes très vieilles, quoi que vous dépensiez, et ce sont exactement celles qui vous mettront en défaut.

Quelle est l'erreur la plus fréquente ?

Collecter d'abord et chercher la décision ensuite. Si vous ne pouvez pas nommer qui agit sur la donnée et à quelle fréquence, la réponse n'est pas « plus de données ».

La prochaine étape

Accordez-y une semaine. Mesurez la vitesse à laquelle vos données deviennent fausses, passez les cinq questions, et vérifiez que quelqu'un change vraiment une décision grâce à elles. Si la source est qualifiée, l'étape suivante est de la câbler dans quelque chose qui tourne tout seul : du jeu de données au workflow qui tourne tout seul.