Approfondissement · Hypothèses
H1 à l’épreuve : nos expériences
La hiérarchie aide au début sur des données synthétiques ; onze essais sur textes réels ne montrent aucun avantage matériel de la vraie hiérarchie sur des étiquettes brouillées, seulement une très légère tendance qui se reproduit. Voir les protocoles et leurs limites.
La question
H1 demande si la structure des données peut aider un modèle à apprendre avec moins d’exemples. Nos essais comparent des étiquettes sans métadonnées, plates, hiérarchiques et brouillées, à budget égal.
H1 · L'appétit de données vient en partie d'une hiérarchie absente (55 %)
Quatre pilotes synthétiques
Trois répétitions initiales, puis cinq nouvelles, ont montré un apprentissage plus rapide avec la hiérarchie. Un contrôle a comparé une structure correcte à une structure brouillée ; un autre a utilisé cinq brouillages et cinq graines. À 100 étapes, pertes moyennes : 2,0061 contre 2,0988. À 500 étapes : 2,0003 contre 2,0045. Les cinq comparaisons par graine partagent une référence : elles ne sont pas indépendantes.
Premier essai sur des textes réels
Sur huit catégories de 20 Newsgroups, un petit modèle de caractères entraîné à partir de zéro a été évalué sur 640 messages de validation, avec trois graines. À 200 étapes, la perte moyenne vaut 2,73333 avec la hiérarchie correcte et 2,73326 avec la hiérarchie brouillée : aucun avantage clair. Le jeu de test officiel reste inutilisé. Le score sans aucune étiquette est même le plus bas (2,72897, contre 2,73162 avec l'étiquette plate) : à ce stade, le modèle ne se sert pas encore des étiquettes, donc ce test ne pouvait pas départager les deux hiérarchies. Des versions plus solides suivent dans les sections ci-dessous.
Source : SetFit, 20 Newsgroups dataset
Entraînement plus long, étiquettes retirées
Le premier essai sur textes réels s’arrêtait à 200 étapes, avant que le modèle n’utilise ses étiquettes. Nous avons entraîné le même petit modèle pendant 800 étapes (trois graines, les mêmes huit catégories) et, à chaque point de contrôle, nous l’avons aussi évalué avec les étiquettes masquées. Cet écart est nul pour un modèle entraîné sans étiquettes ; à 800 étapes, il vaut en moyenne 0,009 nats par octet pour l’étiquette plate, 0,020 pour le groupe seul, 0,025 pour la vraie hiérarchie et 0,031 pour les étiquettes brouillées : les étiquettes sont donc désormais utilisées.
Pourtant, à 800 étapes, la vraie hiérarchie et les étiquettes brouillées atteignent la même perte, 2,5210 nats par octet, contre 2,5292 sans étiquette et 2,5170 avec le seul groupe informatique/loisirs. Détails : résultats, protocole.
Source : OrigoTech, H1 real-text run: longer training with labels removed (results, JSON; protocol alongside)
Cinq codes brouillés
Un seul brouillage pouvait être un coup de chance. Nous avons répété le test avec cinq codes brouillés différents, dont aucun ne conserve la séparation informatique/loisirs, et cinq graines. À 800 étapes, la vraie hiérarchie atteint 2,5279 et la moyenne des cinq codes brouillés 2,5295 : une différence de 0,0016 nats par octet.
La vraie hiérarchie bat cette moyenne sur quatre graines sur cinq, mais son rang parmi les six codes va du premier au dernier (3e, 1er, 6e, 1er et 2e), et les cinq codes brouillés s’écartent à eux seuls d’environ 0,005. La différence est plus petite que cet écart ; nous la lisons donc comme un résultat nul.
Source : OrigoTech, H1 real-text run: five scrambled codes (results, JSON; protocol alongside)
Une taxonomie à trois niveaux
Deux groupes de quatre catégories forment une hiérarchie maigre. Nous avons pris 16 groupes de discussion rangés sur trois niveaux (4 thèmes, 8 sous-thèmes, 16 feuilles) et ajouté des codes partiels : le thème seul, puis thème et sous-thème. À 800 étapes, toutes les variantes codées se situent entre 2,5187 et 2,5217 nats par octet, contre 2,5153 sans aucune étiquette, ce qui est le plus bas.
La vraie hiérarchie (2,5198) bat la moyenne de cinq codes brouillés (2,5206) de seulement 0,0007, sur quatre graines sur cinq, là encore moins que l’écart de 0,005 entre codes brouillés. Ajouter un niveau n’aide pas clairement : les étapes successives (thème, puis sous-thème, puis feuille) font varier la perte de +0,0046, −0,0013 et +0,0012.
Source : OrigoTech, H1 real-text run: three-level taxonomy (results, JSON; protocol alongside)
Balayage de la quantité de données : 30, 100 et 300 par catégorie
L’idée de H1 est que la structure devrait aider surtout quand les données sont rares. Nous avons donc entraîné le même petit modèle pendant 800 étapes sur 30, 100 et 300 messages par catégorie (les petits jeux sont emboîtés dans les grands ; cinq graines, cinq codes brouillés, les mêmes huit catégories), avec trois prédictions écrites à l’avance. À 300 par catégorie, on retrouve l’image précédente : la vraie hiérarchie est 0,0016 nats par octet sous les codes brouillés, moins que l’écart de 0,0052 entre eux (prédiction 1, confirmée).
À 30 par catégorie, le modèle sur-apprend : sans étiquette, sa perte sur les messages mis de côté passe de 2,78 à 200 étapes à 4,12 à 800, car il repasse environ 80 fois sur les mêmes 240 messages. La vraie hiérarchie est 0,0124 sous les codes brouillés, sur quatre graines sur cinq, mais les codes brouillés diffèrent déjà entre eux de 0,0891 : l’écart est noyé dans le bruit (prédiction 3, un écart net à 30 par catégorie, échouée). Le modèle s’appuie bien davantage sur ses étiquettes quand les données sont rares : la perte monte de 0,1243 quand on masque l’étiquette de la vraie hiérarchie à 30 par catégorie, contre 0,0474 à 300 (prédiction 2, confirmée). Le modèle sans étiquette reste le meilleur à 30 et à 100 par catégorie. Détails : résultats, protocole.
Régularisation sur peu de données
Le sur-apprentissage, c’est quand le modèle apprend par cœur ses quelques exemples au lieu de ce qui se transfère à de nouveaux. Nous avons répété le test à 30 et 100 par catégorie avec deux freins classiques : un dropout de 0,2 (des unités tirées au hasard sont éteintes pendant l’entraînement) et une décroissance des poids de 0,1 (un rappel vers de petites valeurs). Mêmes graines et mêmes codes brouillés que le balayage, et de nouveau trois prédictions écrites à l’avance.
Le sur-apprentissage baisse : à 30 par catégorie et 800 étapes, la perte sans étiquette vaut 2,8208, contre 4,12 sans régularisation (prédiction 1, confirmée), et la hausse de perte quand on masque l’étiquette de la vraie hiérarchie passe de 0,1243 à 0,0448 (prédiction 2, confirmée). L’écart entre codes brouillés tombe de 0,0891 à 0,0073. La vraie hiérarchie est 0,0023 sous eux sur quatre graines sur cinq à 30 par catégorie, et au même niveau (0,0000, trois graines sur cinq, écart 0,0020) à 100. La prédiction 3 (au moins quatre graines sur cinq et un écart supérieur à la dispersion, à 30 ou à 100) échoue. Détails : résultats, protocole.
Réplication avec des graines et des permutations neuves
L’essai précédent a laissé un petit signe négatif : la vraie hiérarchie légèrement sous les codes brouillés à 200 et 400 étapes. Un signe peut être un coup de chance ; nous avons donc rejoué le test avec cinq graines neuves et cinq codes brouillés neufs, mêmes données et mêmes réglages. Nous suivons quatre cellules (30 et 100 par catégorie, à 200 et 400 étapes), choisies après avoir vu l’essai précédent, ce qui affaiblit le test. Trois prédictions ont été écrites à l’avance.
Le signe est négatif dans 4 cellules sur 4 (prédiction 1, confirmée), la vraie hiérarchie gagne sur au moins quatre graines sur cinq dans 3 cellules sur 4 (prédiction 2, confirmée), et aucune cellule ne montre un écart matériel, c’est-à-dire plus grand que l’écart entre codes brouillés (prédiction 3, au moins deux cellules sur quatre, échouée : 0 sur 4). Les écarts vont de 0,0001 à 0,0013 nats par octet, face à des dispersions de 0,0012 à 0,0037. Détails : résultats, protocole.
Autres catégories : sciences contre politique et société
Jusqu’ici, hors la taxonomie à trois niveaux, tous les essais utilisaient les mêmes huit catégories, quatre sur l’informatique et quatre sur les loisirs. Nous avons répété la réplication sur un autre découpage : quatre groupes scientifiques (cryptographie, électronique, médecine, espace) contre quatre groupes de politique et de société (armes à feu, Proche-Orient, politique générale, religion chrétienne), avec des graines neuves, des codes brouillés neufs et les mêmes réglages. Une quatrième prédiction vérifie que le modèle utilise bien ses étiquettes.
Résultat : le signe est négatif dans 4 cellules sur 4, la vraie hiérarchie gagne sur au moins quatre graines sur cinq dans 4 cellules sur 4, et 0 cellule sur 4 est matérielle. Le plus grand écart est de 0,0016 nats par octet (30 par catégorie, 400 étapes), face à une dispersion de 0,0044. Le contrôle tient (prédiction 4, confirmée) : à 100 par catégorie et 800 étapes, masquer l’étiquette fait monter la perte de 0,0103 avec la vraie hiérarchie et de 0,0110 avec les codes brouillés ; le modèle utilise donc son étiquette qu’elle soit cohérente ou non. Détails : résultats, protocole.
Un modèle plus grand : 4 couches, largeur 128
Tous les essais précédents utilisaient le même petit modèle (2 couches, largeur 64). Si l’intérêt de la hiérarchie croissait avec la taille du modèle, un modèle plus grand le montrerait ; nous n’avons donc changé que l’architecture : 4 couches, largeur 128, avec les mêmes huit premières catégories, 100 messages par catégorie, cinq graines, cinq codes brouillés, dropout 0,2 et décroissance des poids 0,1 (non réajustés). Les deux cellules lues, 200 et 400 étapes, ont été fixées d’avance ; 800 étapes figure aussi, mais n’était pas pré-enregistré.
La vraie hiérarchie est 0,0006 sous les codes brouillés à 200 étapes et 0,0003 à 400 (écarts de −0,0006 et −0,0003 nats par octet), face à des dispersions de 0,0024 et 0,0062 entre codes brouillés. Elle gagne sur trois graines sur cinq dans les deux cellules, et 0 cellule sur 2 est matérielle. À 800 étapes (non pré-enregistré), le signe s’inverse : +0,0005, une graine sur cinq, dispersion 0,0086. L’écart ne grandit donc pas avec la taille du modèle. Le modèle utilise bien son étiquette (la masquer fait monter la perte de 0,0191 à 800 étapes), mais le modèle sans étiquette reste le meilleur à 800 étapes : 2,3925, contre 2,3980 pour la vraie hiérarchie et 2,3975 pour les codes brouillés. Détails : résultats, protocole.
Modèle plus grand, autres catégories
Le résultat dépend-il des catégories informatique et loisirs ? Nous avons gardé le modèle plus grand et changé les données pour l’autre découpage : quatre groupes de sciences contre quatre groupes de politique et société, avec de nouvelles graines et de nouveaux codes brouillés. Mêmes cellules, mêmes réglages.
L’écart est de −0,0004 à 200 étapes (trois graines sur cinq, dispersion 0,0018) et de +0,0002 à 400 (deux graines sur cinq, dispersion 0,0050) : une cellule sur 2 est négative et 0 est matérielle. À 800 étapes (non pré-enregistré), il vaut −0,0015 (trois graines sur cinq), encore dans la dispersion de 0,0078. Masquer l’étiquette fait monter la perte de 0,0179 à 800 étapes, et le modèle sans étiquette est de nouveau le meilleur (2,3672, contre 2,3753 pour la vraie hiérarchie). Détails : résultats, protocole.
Régularisation plus forte : dropout 0,3, décroissance des poids 0,3
Le modèle plus grand du premier essai était peut-être simplement sous-régularisé : avec plus de place, il peut apprendre ses messages d’entraînement par cœur. Nous avons gardé son modèle, ses données et ses catégories, et relevé les deux freins ensemble, à dropout 0,3 et décroissance des poids 0,3 (leurs effets séparés ne peuvent donc pas être distingués), avec cinq nouvelles graines et cinq nouveaux codes brouillés.
L’écart est de −0,0008 à 200 étapes (cinq graines sur cinq, dispersion 0,0017) et de −0,0010 à 400 (quatre graines sur cinq, dispersion 0,0032) : les deux cellules sont négatives, gagnent sur au moins quatre graines sur cinq, et 0 est matérielle. À 800 étapes (non pré-enregistré), le signe redevient positif, +0,0011 (une graine sur cinq, dispersion 0,0042). Le modèle sans étiquette s’améliore : 2,3717 à 800 étapes, contre 2,3925 dans le premier essai à modèle plus grand (comparaison non appariée, avec d’autres graines), ce qui suggère que cet essai était probablement sous-régularisé. Masquer l’étiquette fait monter la perte de 0,0116. Détails : résultats, protocole.
Lecture d’ensemble : une tendance non matérielle, reproduite
Sur trois jeux de graines et deux ensembles de catégories, la vraie hiérarchie est très légèrement sous les codes brouillés entre 200 et 400 étapes : des écarts d’environ 0,0002 à 0,0016 nats par octet, soit environ 0,1 %, toujours sous la dispersion entre codes brouillés. Nous parlons d’une tendance non matérielle reproduite : le signe revient, mais un écart plus petit que le bruit entre permutations n’est pas un effet que nous pouvons revendiquer.
Un second résultat compte autant : le modèle sans étiquette est meilleur ou égal dans presque toutes les cellules. Des étiquettes cohérentes gênent un peu moins que de fausses étiquettes ; elles ne battent pas l’absence d’étiquette. Une analyse groupée des deux essais régularisés sur les premières catégories (dix graines, dix codes brouillés) va dans le même sens, par exemple 10 graines sur 10 à 100 par catégorie et 400 étapes, avec un écart de 0,0006 face à une dispersion de 0,0013. Elle reste exploratoire : aucun protocole ne l’avait prévue, et ce n’est pas un test de significativité.
Avec le modèle plus grand (trois essais), les écarts à 200 et 400 étapes se situent entre −0,0010 et +0,0002 nats par octet ; 0 cellule sur 6 est matérielle, et l’écart ne grandit pas avec la taille du modèle. Une régularisation plus forte donne le signe le plus régulier (négatif dans les deux cellules, sur cinq et quatre graines sur cinq), toujours sous la dispersion entre codes brouillés. À 800 étapes, le modèle sans étiquette est meilleur ou égal dans les trois essais. Nous lisons cela comme une tendance faible et non matérielle, et le gros modèle du premier essai était probablement sous-régularisé. Nous ne revendiquons ni significativité ni pourcentage de données économisées ; la confiance de 55 % dans H1 est inchangée.
Ce que ces chiffres ne prouvent pas
Les données synthétiques favorisent délibérément la hiérarchie. Les essais sur textes réels utilisent un petit modèle d’octets initialisé au hasard, entraîné au plus 800 étapes, sur de courts débuts de vieux messages anglais d’un seul corpus, et seulement trois structures de catégories (deux découpages en deux groupes de quatre, et une taxonomie à trois niveaux), toutes choisies par nous ; les étiquettes sont présentes à l’évaluation. Les quatre cellules répliquées dans les deux derniers essais ont été choisies après l’essai régularisé et ne sont pas indépendantes, car les mêmes graines alimentent deux points de contrôle. La régularisation est un réglage unique, dropout 0,2 et décroissance des poids 0,1, non optimisé ; les essais à modèle plus grand n’ajoutent qu’une architecture plus grande (4 couches, largeur 128), qui n’est pas une loi d’échelle, et un réglage plus fort (dropout 0,3 et décroissance des poids 0,3, changés ensemble). Les comparaisons entre essais sont non appariées, avec d’autres graines. Nous ne faisons aucun test de significativité, et ces essais ne mesurent pas un pourcentage de données économisées ni ne valident ou ne réfutent H1 pour les grands modèles. La confiance de 55 % est inchangée.
Et H10 ?
H10 reste en pause. Le Space public présente 14 exports d'expériences et 1 034 valeurs numériques ; la série complète compte 15 manches, détaillées dans la page du traducteur. Ces nombres comptent des valeurs exportées, pas des résultats indépendants ni une mesure de qualité. Les protocoles et mesures H1 détaillés y sont également accessibles.
Autres approfondissements
- Apprendre dans l'ordre
- Jeter intelligemment
- Une mémoire dans le modèle
- Le coût devient logarithmique
- Penser par idées, pas par mots
- N'allumer qu'une partie du modèle
- Demander d'abord au petit modèle
- Distiller en programmes, pas en modèles
- Calculer avec moins de bits
- Changer la machine
- Vérifier coûte moins qu'écrire
- Comment les sept pistes se combinent
- Un petit modèle à la hauteur d'un géant ?
- Un petit modèle qui progresse seul, sur un ordinateur ordinaire ?
- Les hypothèses à l'épreuve
- Traduire un modèle et ne garder que le nécessaire ?
- Comment fonctionnent nos expériences sur H1
- H2 à l’épreuve : nos pilotes jouets
Sources
- SetFit, 20 Newsgroups dataset
- OrigoTech, H1 real-text run: longer training with labels removed (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: five scrambled codes (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: three-level taxonomy (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: data-scale sweep, 30, 100 and 300 per category (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: regularized small data, dropout 0.2 and weight decay 0.1 (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: replication with new seeds and permutations (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: other category groups, science against politics and society (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: larger model, 4 layers and width 128 (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: larger model, other categories, science against politics and society (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: larger model, stronger regularization, dropout 0.3 and weight decay 0.3 (results, JSON; protocol alongside)
- OrigoTech AI Research Lab — H1, H2 and H10 results