Approfondissement · Hypothèses
H2 à l’épreuve : nos pilotes jouets
Dix pilotes jouets sur H2, apprendre le haut et consulter le bas : 34 prédictions pré-enregistrées sur 51 se vérifient, et aux pilotes 4 à 7 la plupart des fausses sont des échecs d’apprentissage, pas des réfutations. Un modèle minuscule, une règle inventée, une mémoire idéale dans la plupart des cas : rien qui prouve quoi que ce soit sur les vrais modèles de langage.
La question
H2 dit que les paramètres sont rares et qu’il faut les réserver au raisonnement, tandis que les faits vont dans une mémoire externe. Avant de toucher un vrai modèle, nous avons construit un monde jouet : 1024 entités, chacune avec un chiffre aléatoire (son fait), et une règle qui additionne les chiffres de deux entités modulo 10 (trois entités au cinquième pilote). Les paires de test n’apparaissent jamais à l’entraînement : le modèle doit appliquer la règle, pas la réciter.
Le modèle est un transformeur à 2 couches et de largeur 64, entraîné pendant 2000 mises à jour. Chaque chiffre est une moyenne sur 5 graines, le hasard vaut 0,1, et la taille jugée est 1024 entités (256 est rapporté, non jugé). Les prédictions ont été écrites avant chaque essai ; à partir du deuxième pilote, elles l’ont été après avoir vu les précédents, elles ne sont donc pas aveugles. Les données publiques sont aussi sur [la page du laboratoire](https://huggingface.co/spaces/Kyyzen01/OrigoTech-AI-Research-Lab). Les pilotes 6 à 10 reprennent le même modèle et le même monde ; la durée d’entraînement varie (2000 à 4000 mises à jour, plus un réglage fin au pilote 10), comme indiqué dans chaque protocole.
Pilote 1 : faits dans les poids ou dans une mémoire
Avec 64 entités, les trois conditions atteignent au moins 0,9985 sur les paires tenues à l’écart. Avec 1024, un modèle qui garde les faits dans ses poids les rappelle parfaitement (exactitude des faits 1,0000) mais ne fait que 0,0973 sur les paires tenues à l’écart, et 0,1235 avec environ 2,6 fois plus de paramètres (largeur 128) : près du hasard. Le même modèle atteint 1,0000 quand une mémoire idéale place les deux faits dans son contexte. Les 5 prédictions se sont vérifiées. Détails: résultats, protocole.
Source : OrigoTech, H2 toy pilot 1: facts in the weights or in a memory (results, JSON; protocol alongside)
Pilote 2 : pas explicites ou entraînement plus long
Si le modèle écrit d’abord les deux faits puis les additionne (pas explicites, supervisés à l’entraînement), il atteint 1,0000 à 1024 entités sans aucune mémoire. Doubler l’entraînement à 4000 mises à jour laisse en revanche le modèle simple à 0,1285 (0,1018 à 2000 mises à jour). À 256 entités, l’essai plus long atteint 0,9393, contre 0,4710 à 2000 mises à jour, avec des graines de 0,6965 à 1,0000. Dans ce jouet, une mémoire n’est donc pas nécessaire pour composer, mais les pas sont supervisés, ce qui ne dit rien des vrais modèles. Les 5 prédictions se sont vérifiées. Détails: résultats, protocole.
Source : OrigoTech, H2 toy pilot 2: explicit steps or longer training (results, JSON; protocol alongside)
Pilote 3 : mise à jour des faits
Avec les faits dans le contexte, les faits modifiés atteignent 1,0000 et les entités jamais vues à l’entraînement 1,0000, contre 0,1066 et 0,1008 pour le modèle sans mémoire. Le réglage fin des poids sur les seules modifications, pendant 200 mises à jour, atteint 0,2376 sur les faits modifiés, tandis que l’exactitude sur les faits intacts tombe de 1,0000 à 0,1337. Avec un rejeu des anciens faits, les faits intacts restent à 0,9975, mais les faits modifiés n’atteignent que 0,3399. 5 prédictions sur 6 se sont vérifiées ; la fausse attendait que la modification soit absorbée en 200 mises à jour. Une seule recette de réglage fin, pas d’éditeur de connaissances dédié. Détails: résultats, protocole.
Source : OrigoTech, H2 toy pilot 3: updating facts (results, JSON; protocol alongside)
Pilote 4 : récupération imparfaite
Chaque élément récupéré est remplacé, avec la probabilité 1 − r, par celui d’une autre entité. À r = 0,9, 0,7 et 0,5, l’exactitude est de 0,8366, 0,5604 et 0,3306, proche de r² + (1 − r²) × 0,1 (0,829, 0,541, 0,325) : les deux éléments doivent être justes, sinon la réponse est due au hasard. Le modèle à pas explicites sans mémoire fait 0,9997 : le modèle à mémoire passe donc de plus de 0,10 sous lui dès r = 0,9. Le test des distracteurs n’est pas conclu : un modèle entraîné avec 4 distracteurs aléatoires n’a pas appris la règle (0,1163), donc ce qui se passe avec 8 ne se lit pas. 3 prédictions sur 5 se sont vérifiées ; les deux fausses sont des échecs d’apprentissage. Substitution aléatoire, pas un vrai moteur de recherche ; coût de la recherche non mesuré. Détails: résultats, protocole.
Source : OrigoTech, H2 toy pilot 4: imperfect retrieval (results, JSON; protocol alongside)
Pilote 5 : trois faits
Avec trois faits à additionner, une passe donne 0,0989 et les pas explicites simples 0,1215, alors que les trois faits sont rappelés à 0,9999. Ajouter une somme partielle intermédiaire fait monter le score à 0,9998. Le modèle à mémoire externe fait 0,2659 en moyenne (graines de 0,0985 à 0,9285) : il apprend très tard, et dans cet essai une seule graine sur cinq a appris la règle. 3 prédictions sur 5 se sont vérifiées ; les deux fausses sont des échecs d’apprentissage en 2000 mises à jour, ce qui ne plaide pas contre la composition. Une règle jouet, une taille de modèle. Détails: résultats, protocole.
Source : OrigoTech, H2 toy pilot 5: three-fact composition (results, JSON; protocol alongside)
Pilote 6 : distracteurs et curriculum
Ici la mémoire contient aussi des éléments distracteurs aléatoires. Avec 4 distracteurs, un modèle entraîné pendant 4000 mises à jour atteint 0,2456 sur les paires tenues à l’écart (graines de 0,0955 à 0,7690), et un modèle entraîné avec un curriculum (0, puis 2, puis 4 distracteurs) 0,3856 (0,1275 à 0,7440). Avec 8 distracteurs, le modèle à curriculum reste à 0,1052, le niveau du hasard, contre 0,9999 pour le même format sans distracteurs. Le contrôle sur les faits récupérés échoue dans plusieurs cellules (par exemple 0,1440 et 0,1666 à 8 distracteurs) : les autres résultats ne sont donc pas lisibles et la question reste ouverte. 1 prédiction sur 5 s’est vérifiée ; les quatre fausses sont des échecs d’apprentissage. La référence propre est entraînée 2000 mises à jour contre 4000 (non appariée). Distracteurs aléatoires seulement. Détails: résultats, protocole.
Source : OrigoTech, H2 toy pilot 6: distractors and a curriculum (results, JSON; protocol alongside)
Pilote 7 : trois faits, entraînement plus long
Avec trois faits et 4000 mises à jour, le modèle à mémoire externe fait 0,3286 en moyenne (graines de 0,0955 à 0,8415 ; aucune n’atteint 0,90), contre 0,1046 à 2000 mises à jour. Commencer par deux faits pendant un échauffement de 1500 mises à jour monte la moyenne à 0,6981 (0,1230 à 0,9995 ; +0,3695 par rapport à la mémoire seule), mais l’écart entre graines est grand. Les pas explicites simples, sans somme partielle, restent à 0,1645 (0,1030 à 0,2425). Les trois faits sont rappelés à 1,0000 dans les trois conditions. 2 prédictions sur 5 se sont vérifiées (le curriculum est au moins aussi bon que la mémoire seule ; les faits sont rappelés). Les fausses sont des échecs d’apprentissage, avec une cellule due à une graine chanceuse. Une durée d’échauffement, une règle jouet. Détails: résultats, protocole.
Source : OrigoTech, H2 toy pilot 7: three facts, longer training (results, JSON; protocol alongside)
Pilote 8 : fréquents dans les poids, rares en mémoire
Avec des entités tirées selon une loi de Zipf (quelques-unes fréquentes, beaucoup de rares), le modèle sans mémoire fait 0,9520 sur les paires d’entités fréquentes et 0,9260 sur les paires d’entités rares : les faits rares sont donc eux aussi appris dans les poids. L’hybride (faits fréquents dans les poids, rares en mémoire) fait 0,9904 et 0,9926, et le modèle tout en mémoire 1,0000 et 0,9999. Pondéré par la fréquence, l’hybride est 0,0024 sous la mémoire complète (0,9976 contre 1,0000). 3 prédictions sur 5 se sont vérifiées ; les deux fausses sont que les faits rares ne seraient pas appris dans les poids et que l’hybride serait au moins aussi bon que la mémoire complète. Un seul découpage de Zipf ; les faits fréquents ont pu être mémorisés plutôt que composés. Récupération idéale. Détails: résultats, protocole.
Pilote 9 : combien d’exemples de la règle
Entraîné sur seulement 2 % ou 5 % des paires, le modèle à mémoire externe atteint 1,0000 sur les paires tenues à l’écart (0,9977 à 20 %, 1,0000 avec toutes). Sans mémoire (pas explicites), il atteint 0,9998 à 2 % mais 0,9132 à 5 % (graines de 0,5960 à 1,0000), contre 0,9980 avec toutes les paires. 4 prédictions sur 5 se sont vérifiées ; la fausse (plus de paires ne nuit jamais) échoue parce que, sans mémoire, 2 % donne 0,0018 de plus que 100 %. La règle n’utilise que 100 couples de chiffres : quelques exemples suffisent donc ici, ce qui est propre au jouet et ne dit rien des vrais modèles. Récupération idéale. Détails: résultats, protocole.
Source : OrigoTech, H2 toy pilot 9: how many rule examples (results, JSON; protocol alongside)
Pilote 10 : mises à jour plus longues ou plus fortes
Après 1000 mises à jour, le réglage fin sur les faits modifiés avec rejeu des anciens atteint 0,5310 sur les paires modifiées, et 0,8212 avec un taux d’apprentissage trois fois plus grand (graines de 0,6720 à 0,9665), tandis que les faits intacts restent à 0,9876. Sans rejeu et avec un petit taux d’apprentissage, les faits intacts tombent à 0,2092 et les paires modifiées n’atteignent que 0,2138. Une part plus lourde de lignes modifiées avec rejeu atteint 0,4054, sous la recette de rejeu simple (écart −0,1256). Après le réglage fin, les entités jamais vues à l’entraînement restent au hasard (0,099 à 0,103), alors que la mémoire externe fait 0,9998 sur les paires modifiées et 1,0000 sur les entités nouvelles, sans aucune mise à jour. 3 prédictions sur 5 se sont vérifiées ; les fausses sont que l’oubli serait limité sans rejeu (0,2092, sous les 0,50 attendus) et qu’une part plus lourde de modifications aiderait. Quatre recettes de réglage fin, une valeur chacune, sans recherche ; pas d’éditeur de connaissances dédié. Détails: résultats, protocole.
Source : OrigoTech, H2 toy pilot 10: longer or stronger updates (results, JSON; protocol alongside)
Lecture : ce que suggère le monde jouet
Dans ce monde jouet, composer beaucoup de faits mémorisés en une passe est la difficulté, et deux choses la résolvent : une mémoire externe idéale, ou écrire les faits pas à pas. Ce qu’une mémoire apporte clairement, c’est la mise à jour : immédiate avec une mémoire, lente dans les poids et, sans rejeu des anciens faits, très oublieuse (avec rejeu et un taux d’apprentissage plus grand, les modifications atteignent 0,8212 après 1000 mises à jour). Son avantage diminue quand la récupération se dégrade. Avec trois faits, écrire les faits ne suffit pas et il faut une somme intermédiaire ; un échauffement sur deux faits aide en moyenne (0,6981 contre 0,3286), mais les graines diffèrent beaucoup. Un hybride avec les faits fréquents dans les poids ne se distingue pas du tout-en-mémoire, et quelques exemples de la règle ont suffi dans ce jouet. La question des distracteurs reste ouverte. 34 des 51 prédictions pré-enregistrées se sont vérifiées (5 sur 5, 5 sur 5, 5 sur 6, 3 sur 5, 3 sur 5, 1 sur 5, 2 sur 5, 3 sur 5, 4 sur 5 et 3 sur 5) ; aux pilotes 4 à 7, la plupart des fausses sont des échecs d’apprentissage, pas des réfutations, alors que celles des pilotes 8 à 10 sont des résultats mesurés.
Ce que ces chiffres ne prouvent pas
Un monde jouet : une règle (addition modulo 10), des faits aléatoires indépendants, un petit modèle, 5 graines. La récupération est idéale, sauf aux pilotes 4 et 6 où elle est corrompue par substitution aléatoire ou par des distracteurs, et le coût de la recherche n’est pas mesuré. Les pas explicites sont du raisonnement supervisé, pas montré pour de vrais modèles de langage. La taille 256 est rapportée mais non jugée ; aucun test de significativité n’est mené et aucun pourcentage de données économisées n’est estimé. Les prédictions postérieures au premier pilote ont été écrites en connaissant les résultats précédents. Le pilote 1 a été lancé à 2000 mises à jour après l’arrêt, pour cause de durée, d’un premier essai à 3000, et un contrôle de durée sur CPU, dont les auteurs ont vu les exactitudes, a précédé le jugement. Au pilote 6, la référence propre est entraînée 2000 mises à jour contre 4000 pour les autres (non appariée) ; les pilotes 7 et 8 n’utilisent qu’une durée et qu’un découpage tête/queue ; le pilote 10 compare quatre recettes de réglage fin, une valeur chacune. Les 13 prédictions vérifiées aux pilotes 6 à 10 (sur 25) ont aussi été écrites en connaissant les pilotes précédents. Ces pilotes ne valident ni ne réfutent H2 pour de vrais modèles : sa confiance de 64 % est inchangée.
Autres approfondissements
- Apprendre dans l'ordre
- Jeter intelligemment
- Une mémoire dans le modèle
- Le coût devient logarithmique
- Penser par idées, pas par mots
- N'allumer qu'une partie du modèle
- Demander d'abord au petit modèle
- Distiller en programmes, pas en modèles
- Calculer avec moins de bits
- Changer la machine
- Vérifier coûte moins qu'écrire
- Comment les sept pistes se combinent
- Un petit modèle à la hauteur d'un géant ?
- Un petit modèle qui progresse seul, sur un ordinateur ordinaire ?
- Les hypothèses à l'épreuve
- Traduire un modèle et ne garder que le nécessaire ?
- H1 à l’épreuve : nos expériences
- Comment fonctionnent nos expériences sur H1
Sources
- OrigoTech, H2 toy pilot 1: facts in the weights or in a memory (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 2: explicit steps or longer training (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 3: updating facts (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 4: imperfect retrieval (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 5: three-fact composition (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 6: distractors and a curriculum (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 7: three facts, longer training (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 8: frequent facts in the weights, rare ones in memory (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 9: how many rule examples (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 10: longer or stronger updates (results, JSON; protocol alongside)