Approfondissement · Folio II
Une bibliothèque n'est pas meilleure parce qu'elle a plus de livres. Elle l'est quand on a retiré les doublons, les pages déchirées et les livres qu'on connaît déjà par cœur. Peut-on faire pareil avec les données d'une IA ?
Les grands corpus viennent du web : beaucoup de répétitions, de pages vides de sens, de textes presque identiques. Chaque texte inutile coûte du calcul, de l'énergie, et, on l'a vu en partie I, de la capacité de mémoire du modèle.
Élaguer, c'est choisir ce qu'on garde. La question n'est pas « combien de données ? » mais « quelles données ? ».
Retirer le bruit : un petit classifieur note chaque texte (par exemple sa valeur éducative) et on ne garde que les meilleurs. Retirer les doublons de sens : on place chaque texte dans un espace où les textes proches par le sens sont voisins, et on ne garde qu'un représentant par groupe. Retirer ce que le modèle sait déjà : on garde les exemples qui lui apprennent encore quelque chose.
Tout l'art est dans la mesure : une bonne note permet de jeter beaucoup sans rien perdre, une mauvaise jette des trésors.
Fig. B — Le tamis
utile doublon bruit
Schéma illustratif : il montre l'idée, pas des mesures.
D'habitude, l'erreur baisse lentement quand on ajoute des données (une « loi de puissance »). Sorscher et ses coauteurs montrent qu'avec une bonne mesure d'élagage, elle peut baisser exponentiellement, donc beaucoup plus vite. Testé en vision (CIFAR-10, ImageNet), avec une mesure peu coûteuse qui n'exige même pas d'étiquettes.
Source : Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
Résultat subtil : quand on a peu de données, il vaut mieux garder les exemples faciles ; quand on en a beaucoup, garder les difficiles. Autrement dit, quand on a déjà les bases, ce sont les cas rares et durs qui apprennent le plus.
Source : Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
SemDeDup (Meta) retire les textes ou images presque identiques par le sens. Sur un grand corpus d'images, retirer 50 % des données ne coûte presque rien en performance et divise par deux le temps d'entraînement. Sur du texte (C4), le gain d'efficacité est d'environ 15 %.
Source : Abbas et al., SemDeDup (Meta, 2023)
FineWeb-Edu (Hugging Face) note la valeur éducative de chaque page web, de 0 à 5, avec un petit modèle entraîné sur les jugements de Llama 3 70B. Il ne garde que les notes ≥ 3 : 1 300 milliards de jetons sur 15 000. Résultat : 33,6 % au test MMLU dès 38 milliards de jetons, là où le meilleur concurrent en demandait 300 milliards.
Source : Penedo et al., The FineWeb Datasets (Hugging Face, 2024)
Un filtre a les goûts de celui qui l'a entraîné. Celui de FineWeb-Edu favorise nettement les sujets scolaires et l'écriture formelle : on gagne en qualité, on perd en diversité. Pour les très longs entraînements, il faut aussi assez de textes uniques, et les filtres trop stricts finissent par en manquer. Enfin, la plupart des résultats spectaculaires sur la courbe exponentielle viennent de l'image, pas encore du texte à grande échelle.
Source : Penedo et al., The FineWeb Datasets (Hugging Face, 2024)
Le résultat « faciles quand on manque, difficiles quand on a tout » est un appui direct à H3 et H4 : une fois les règles acquises, ce sont les exceptions qui valent de l'or. Un bon élagage ressemble à notre idée de compression : garder les règles et ce qui y échappe, jeter le reste. Ce qui manque encore : une mesure qui sache distinguer une exception précieuse d'un simple bruit, car les deux sont « surprenants ».
H3 · Règles + exceptions = compression (35 %) H4 · Les exceptions sont l'ancre (65 %)
Sur un petit corpus, comparer trois tamis : par qualité, par doublons de sens, et un tamis « règles + exceptions » qui garde un seul exemple typique par groupe plus tous les cas qui s'en écartent. Puis regarder lequel retient le mieux les cas rares.