L'IA de demain Glossaire
FR

← Retour au carnet

Approfondissement · Méthode

Comment fonctionnent nos expériences sur H1

Un guide en langage simple de nos petits essais : ce qu’est le modèle, ce qu’est une étiquette, pourquoi on la brouille et comment lire un résultat nul.

Spéculatif mise à jour du

I

Ce que nous entraînons vraiment

Un tout petit modèle de langage : deux couches, 64 nombres de large, parti de valeurs aléatoires, donc qui ne sait rien. Il lit le texte octet par octet et apprend à deviner l’octet suivant. Nous l’entraînons pendant quelques centaines d’étapes sur les 96 premiers octets de vieux messages de groupes de discussion, 300 par catégorie, ce qui prend moins d’une minute sur un GPU.

Les essais suivants utilisent un modèle plus grand : quatre couches, 128 nombres de large, avec la même recette d’entraînement. Il reste petit face à un vrai modèle de langage.

II

Les étiquettes

Avant chaque extrait, nous écrivons deux ou trois symboles supplémentaires. Avec aucune étiquette, ils sont vides. Avec une étiquette plate, chaque catégorie a son propre symbole. Avec une hiérarchie, le premier symbole désigne un groupe (par exemple l’informatique ou les loisirs) et les suivants le précisent. Un code brouillé a la même forme mais attribue les codes aux mauvaises catégories. Nous testons aussi le groupe seul et, sur la taxonomie à trois niveaux, le thème seul puis thème et sous-thème.

III

Pourquoi nous brouillons

Une hiérarchie porte deux choses : de l’information (à quelle catégorie appartient un texte) et de la structure (quelles catégories sont voisines). Un code brouillé porte la même information, mais ses groupes ne signifient rien. Si la vraie hiérarchie bat les étiquettes brouillées, c’est la structure qui aide ; sinon, n’importe quel code fait aussi bien. Comme un seul brouillage pourrait être un coup de chance, nous en répétons cinq, et nous écartons tout brouillage qui conserve les vrais groupes.

IV

Comment nous mesurons

Nous mesurons la perte sur des messages mis de côté, en nats par octet (plus c’est bas, mieux c’est). Un modèle qui devinerait chaque octet au hasard obtiendrait environ 5,5 ; les nôtres finissent près de 2,5. Au sein d’une graine, toutes les conditions reçoivent les mêmes données, les mêmes lots et les mêmes valeurs de départ : seule l’étiquette change. Pour voir si le modèle utilise vraiment son étiquette, nous l’évaluons aussi avec l’étiquette effacée : c’est une ablation, et l’écart entre les deux scores mesure à quel point il s’appuie sur elle.

V

Moins de données, plus de passages

Dans les essais à peu de données, nous ne gardons que les 30, 100 ou 300 premiers messages de chaque catégorie ; les petits jeux sont emboîtés dans les grands, et chaque taille est évaluée sur les mêmes 640 messages mis de côté, ce qui rend les pertes comparables. Le nombre d’étapes reste de 800 : un petit jeu est donc revu très souvent, environ 80 fois avec 30 messages par catégorie. Un modèle qui revoit si souvent les mêmes quelques exemples se met à les apprendre par cœur : c’est le sur-apprentissage, et il se voit à une perte sur les messages mis de côté qui remonte (de 2,78 à 4,12 dans notre balayage).

VI

Des freins contre le sur-apprentissage

Pour limiter le sur-apprentissage, nous ajoutons deux freins classiques, appelés régularisation. Le dropout de 0,2 éteint des unités du réseau au hasard à chaque étape d’entraînement, si bien qu’aucun chemin unique ne peut mémoriser un exemple. La décroissance des poids de 0,1 rappelle les poids vers de petites valeurs à chaque étape. Nous utilisons un seul réglage, choisi une fois et non optimisé, identique pour toutes les conditions. La perte sur les messages mis de côté est toujours mesurée sans dropout.

Les essais à modèle plus grand partent des mêmes 0,2 et 0,1, puis utilisent un réglage plus fort, dropout 0,3 et décroissance des poids 0,3, pour vérifier si le modèle plus grand apprenait ses exemples par cœur. Nous ne réglons toujours rien.

VII

Les prédictions d’abord

Chaque protocole et ses prédictions sont écrits avant l’essai. La révision du jeu de données est figée, le jeu de test officiel n’est jamais utilisé et le code est identifié par une empreinte dans le fichier de résultats. Un résultat nul est publié comme les autres.

Dans un protocole, nous listons aussi à l’avance les cellules que nous lirons : une cellule est une combinaison de taille de données et de nombre d’étapes. Une cellule pré-enregistrée est fixée avant l’essai. Dans les essais de réplication, les quatre cellules ont été enregistrées avant l’essai mais choisies après avoir vu un essai antérieur ; nous le disons, car un lecteur doit leur faire un peu moins confiance.

VIII

Matériel ou non

Les codes brouillés ne donnent pas tous la même perte : leur étendue, du meilleur au pire des cinq (moyennée sur les graines), mesure le bruit venant du seul code. Nous disons qu’un écart est matériel quand la vraie hiérarchie bat la moyenne des codes brouillés de plus que cette étendue. En dessous, l’écart peut venir du brouillage tiré au sort : nous parlons de tendance non matérielle. Un autre chiffre, l’écart d’utilisation de l’étiquette, est la hausse de la perte quand on masque l’étiquette : il dit si le modèle s’en sert, pas si la hiérarchie vaut mieux que des codes brouillés.

IX

Des mondes jouets pour H2

Les pilotes H2 utilisent un monde jouet plutôt que du texte : des faits aléatoires et une règle (addition modulo 10) qui en exige deux ou trois, pour distinguer ce qu’un modèle a mémorisé de ce qu’il a calculé. Comme pour H1, les prédictions sont écrites avant chaque essai et la taille jugée est fixée à l’avance. Dans la plupart des pilotes, la mémoire est un oracle : les bons faits sont placés dans le contexte, ce qui ignore le coût et les erreurs de la recherche ; seuls les pilotes 4 et 6 corrompent la récupération, par substitution aléatoire ou par des distracteurs aléatoires. Détails et chiffres : pilotes H2.

X

Comment lire un résultat

Des écarts d’un millième ou deux de nat par octet sont plus petits que la variation entre graines ou entre codes brouillés : nous ne revendiquons donc aucune significativité et ne les traduisons jamais en pourcentage de données économisées. Ce qui nous ferait changer d’avis : la vraie hiérarchie classée première de façon constante, avec un écart supérieur à cette dispersion, puis la même chose sur un modèle plus grand déjà pré-entraîné.

XI

Fichiers

Chaque chiffre de ces notes vient d’un fichier que vous pouvez télécharger. Entraînement plus long : résultats et protocole. Cinq codes brouillés : résultats et protocole. Taxonomie à trois niveaux : résultats et protocole. Les résultats sont en JSON ; les protocoles sont en Markdown.

Essais suivants : Balayage de la quantité de données: résultats et protocole. Petites données régularisées: résultats et protocole. Réplication avec graines neuves: résultats et protocole. Autres catégories: résultats et protocole. Mêmes formats.

Modèle plus grand: résultats et protocole. Modèle plus grand, autres catégories: résultats et protocole. Modèle plus grand, régularisation plus forte: résultats et protocole. Mêmes formats.

Haut de page