Aller au contenu
NET&PRO...
IA Pour Tous

Données d'entraînement : tout ce qu'une IA a lu, et tout le reste

Une IA apprend dans ce qui a laissé une trace. Premier épisode d'une série sur tout le reste : ce que personne n'a noté, filmé ni enregistré.

Série « La part non écrite » · épisode 1

Une carte ancienne de l'Afrique posée sur une table : le contour du continent est tracé, l'intérieur est resté blanc.

Les données d'entraînement d'une IA sont des traces : des textes, des images, des enregistrements que quelqu'un a un jour produits et mis en ligne. On explique souvent ce qu'un modèle y a appris. Cet article fait le chemin inverse et regarde ce qui n'y figure pas, faute d'avoir été noté, filmé ou enregistré. C'est le premier épisode d'une série de six, et il commence par une carte.

Fiction. Casablanca, 2041. Le jour de son embauche, on montra la carte à Selma. Elle occupait un mur entier. Tout ce qui avait été écrit, filmé ou enregistré y figurait en gris : les villes, les forums, les bibliothèques, des continents de gris. Entre eux, il restait du blanc. « Les modèles ont fini de lire le gris, dit la responsable. Ils le relisent, et à force ils radotent. Votre travail consiste à nous rapporter du blanc. » On lui remit un carnet, un petit boîtier qui écoute et qui voit. Elle serait payée à l'heure d'inédit. Selma chercha son quartier sur la carte, puis sa rue. Sa rue était grise. En approchant le visage, elle distingua un point blanc à l'endroit de la cuisine de sa mère.

Cette scène est inventée. La carte, elle, se dessine assez bien avec ce qu'on sait aujourd'hui.

Ce que « lire » veut dire ici

Dire qu'une IA « a lu » est un raccourci, qu'on gardera dans toute la série parce qu'il est commode. Un modèle ne lit pas comme on lit un roman : il a été ajusté, phrase après phrase, pour prédire la suite d'immenses quantités de textes, et les plus récents reçoivent aussi des images, du son, de la vidéo. Le mot « écrit » se prend donc ici au sens large : tout ce qui a laissé une trace enregistrée, qu'une machine peut atteindre. Une lettre numérisée en fait partie. Une chanson mise en ligne aussi. La même chanson fredonnée dans une cuisine, non.

💡 En clair

Imaginons quelqu'un qui aurait appris le monde entier en lisant le courrier, les journaux et les albums photo des autres, sans jamais sortir de chez lui. Il saurait énormément de choses. Il lui manquerait tout ce que personne n'a pris la peine d'écrire ou de photographier. Une IA apprend à peu près ainsi : dans ce qui a laissé une trace.

Trois tamis métalliques alignés sur une pierre : le premier est plein de grain, le deuxième à moitié, le troisième presque vide.

Trois tamis entre une vie et un corpus

Entre ce qu'une personne vit et ce qu'un modèle rencontre, il y a trois tamis.

Le premier est la mise en trace. Sur une journée entière, ce qui devient un texte, une photo ou un enregistrement tient en peu de chose : quelques messages, un paiement, une image. Le trajet, la conversation devant la machine à café, ce qu'on a pensé en montant l'escalier n'ont laissé de trace nulle part.

Le deuxième est l'accès. Une trace qui dort dans un carton d'archives, dans un cahier ou sur une cassette n'existe pas pour une machine tant que personne ne l'a numérisée et rendue atteignable. Une grande part de ce que l'humanité a écrit est dans ce cas.

Le troisième est le poids. Dans ce qui est en ligne, toutes les langues et tous les sujets ne pèsent pas autant. Quelques langues occupent l'essentiel de la place, et des centaines d'autres, parlées chaque jour par des millions de gens, n'y laissent presque rien.

Ce qui franchit les trois tamis forme le corpus. C'est beaucoup, davantage que ce qu'un humain lirait en mille vies. Et c'est une part mince de ce qui a été vécu.

Ce que cela donne en ordres de grandeur

Trois comparaisons donnent l'échelle.

Un enfant, d'abord. Les chercheurs qui organisent BabyLM, un concours où l'on entraîne des modèles avec la quantité de mots qu'entend un enfant, partent d'une estimation : un enfant entend entre 2 et 7 millions de mots par an, soit 24 à 84 millions à l'âge de douze ans. Pour son modèle Llama 3, sorti en avril 2024, Meta annonce plus de 15 000 milliards de tokens, ces morceaux de mots que les modèles manipulent. C'est plus de cent mille fois ce qu'un enfant a entendu à douze ans. Meta publie ce chiffre ; la plupart des autres éditeurs gardent le leur pour eux.

Les humains, ensuite. Le Population Reference Bureau, un institut américain de démographie, estime qu'environ 117 milliards d'humains sont nés depuis l'apparition de notre espèce. Les vivants d'aujourd'hui en représentent près de 7 %. L'écriture a un peu plus de cinq mille ans, et pendant la plus grande partie de ce temps, peu de gens savaient s'en servir. Combien de ces 117 milliards ont laissé une phrase de leur main ? Aucun recensement ne permet de le dire.

Les langues, enfin. Common Crawl, une fondation qui archive le web, fournit une bonne part des textes d'entraînement : en 2020, 60 % des textes vus par GPT-3 pendant son entraînement venaient de ses archives. Elle publie la langue des pages qu'elle collecte. Dans sa collecte d'octobre 2026, 42,6 % des pages sont en anglais, et six langues en couvrent 69 %. Le swahili, l'une des langues les plus parlées d'Afrique, pèse 0,01 %. Le bambara, le peul et les langues amazighes n'y figurent pas du tout : l'outil qui identifie la langue des pages en reconnaît 160, et elles n'en font pas partie.

Ces écarts sont plus anciens que l'IA.

Pourquoi les blancs intéressent soudain tout le monde

Longtemps, ces blancs n'ont intéressé que les historiens et les linguistes. Ils intéressent maintenant les laboratoires, pour une raison que des chercheurs ont décrite en 2024 dans la revue Nature. Quand on entraîne un modèle sur des textes produits par un autre modèle, puis un troisième sur les textes du deuxième, la qualité baisse de génération en génération, un peu comme la photocopie d'une photocopie. Et ce qui s'efface en premier, ce sont les cas rares : les tournures peu fréquentes, les sujets que peu de gens abordent, tout ce qui s'écarte de la moyenne. Or le web se remplit de textes écrits par des machines. La trace laissée par une personne, sur un sujet que personne d'autre n'a traité, devient donc la matière la plus recherchée. Les blancs de la carte ont pris de la valeur.

Des contrats donnent la mesure de cette valeur. En février 2024, Google a annoncé un accès direct aux contenus de Reddit, qu'il pourra notamment utiliser pour entraîner ses modèles. Le mois suivant, Le Monde a signé avec OpenAI un accord qui autorise l'entraînement sur ses articles, contre une rémunération restée confidentielle.

Quatre raisons de ne pas être écrit

Une chose peut manquer au corpus pour quatre raisons différentes. La série consacre un épisode à chacune, après un détour par l'histoire.

Personne ne l'a notée. C'est le cas de la parole, des contes, des langues qui vivent sans écriture.

Elle se montre mieux qu'elle ne se dit. C'est le cas du geste : on apprend à tailler, à pétrir ou à tenir sur un vélo en regardant et en essayant, et celui qui sait serait bien en peine de l'expliquer par écrit.

On a choisi de la taire. C'est l'intime, ce qu'on dit à une seule personne, ou à aucune.

Il n'existe pas de mots pour elle. C'est ce qu'on éprouve, le goût d'un fruit ou le poids d'un chagrin, que la meilleure phrase décrit sans le contenir.

Ces quatre parts n'ont pas le même avenir. La première se laisse enregistrer dès qu'on tend un micro. Pour la dernière, personne ne sait. Entre les deux, il y a des capteurs, des lois et des interrupteurs, et c'est là que la série passera le plus de temps.

Une feuille partagée en deux colonnes sur une table, avec un café et un crayon : la colonne de gauche porte quelques traits, celle de droite est vide.

Trois minutes, une feuille, deux colonnes

Chacun peut dessiner sa propre carte en trois minutes. Il suffit d'une feuille partagée en deux colonnes. À gauche, ce que la journée d'hier a laissé comme traces : les messages envoyés, les paiements, les photos, les trajets que le téléphone a relevés. À droite, ce qu'elle n'a pas laissé : le goût du café, une phrase entendue et gardée pour soi, ce à quoi on pensait dans l'escalier.

La colonne de gauche est en général plus longue qu'on ne s'y attendait. Celle de droite contient ce dont on se souviendra.

Le blanc des cartes

En 1749, le géographe Jean-Baptiste d'Anville a publié une carte de l'Afrique qui laissait en blanc les régions où aucun voyageur européen n'était allé. Avant lui, on les couvrait de peuples et d'animaux dessinés. Le blanc renseignait sur le cartographe : là-bas, des gens vivaient. La carte des données a les siens, et ils ont une histoire, car à chaque époque quelqu'un a décidé de ce qui méritait d'être noté. C'est par là que la série continue.

Partager

Le sujet de fond, dans les mémos

Un article éclaire un angle ; un mémo du Lab prend le sujet de A à Z, sommaire compris. Sur ce thème, voici où creuser.

À lire ensuite

NET&PRO

L'IA, c'est bien. L'IA qui tourne chez vous, c'est mieux.

Vous avez lu la théorie. NET&PRO s'occupe de la mise en œuvre : automatisation de process, intégration de modèles dans vos outils métier, formation de vos équipes.