Approfondissement · Folio II
Un modèle classique lit le texte en petits morceaux tous de même nature, découpés d'avance par un dictionnaire figé. Nous, nous lisons des lettres, puis des mots, puis des idées. Et si le modèle construisait lui-même ces étages ?
Avant l'entraînement, un outil appelé tokenizer découpe le texte en « jetons » selon un dictionnaire fixe. Le modèle ne voit jamais les lettres, et ne raisonne jamais à un niveau plus haut que ces jetons : tout se passe à un seul étage.
Les travaux de cette page ajoutent des étages, et surtout laissent le modèle décider lui-même où couper.
Imaginez une usine en trois ateliers. Un petit atelier lit le texte lettre par lettre. Il regroupe les lettres en morceaux et transmet ces paquets à un grand atelier central, qui fait l'essentiel de la réflexion sur une séquence bien plus courte. Un dernier petit atelier redéroule le résultat lettre par lettre.
Le gain : l'atelier central, le plus coûteux, travaille sur moins d'éléments. Et le découpage suit le contenu : un passage prévisible forme un gros morceau, un passage difficile est découpé finement. Le calcul va là où est l'information.
Fig. C — Des lettres aux idées
Schéma illustratif : il montre l'idée, pas des mesures.
L'unité de pensée devient la phrase entière, placée dans SONAR, un espace de sens commun à 200 langues écrites et 76 langues parlées. Le modèle prédit l'idée suivante, pas le mot suivant. Il dépasse un Llama 3.1 de même taille en résumé multilingue, mais reste moins fluide.
Source : Meta, Large Concept Models (2024)
Plus de dictionnaire : le modèle lit des octets et les groupe en « patchs » de taille variable, coupés là où la suite devient imprévisible. Il égale pour la première fois les modèles à jetons, jusqu'à 8 milliards de paramètres et 4 000 milliards d'octets, et passe mieux à l'échelle à coût d'inférence égal.
Source : Pagnoni et al., Byte Latent Transformer (Meta, ACL 2025)
Le découpage est entièrement appris, sans règle fournie. Seul, le modèle invente des morceaux d'environ 4,5 à 5 octets, comparables aux jetons classiques. Avec deux étages, il égale un modèle à jetons deux fois plus gros, et gagne près de 4 fois en efficacité de données sur l'ADN.
C'est exactement la voie que suggérait notre conclusion IV : une hiérarchie apprise, pas dictée. Le tokenizer était une règle écrite à la main ; H-Net la remplace par un apprentissage. C'est la « leçon amère » de Sutton appliquée à la hiérarchie elle-même.
Et c'est une piste de sobriété : en allouant le calcul selon la difficulté, on dépense moins sur ce qui est prévisible.
Ces architectures sont plus complexes à entraîner : les séquences ont des longueurs variables et chaque étage a ses propres réglages. Elles ont été testées jusqu'à quelques milliards de paramètres, loin des plus grands modèles. Les LCM butent encore sur la fluidité, et dépendent d'un espace de sens figé (SONAR) qu'ils n'apprennent pas eux-mêmes.
Appui à H1 : donner (ou laisser construire) une structure explicite rend l'apprentissage plus efficace, nettement sur l'ADN, le chinois et le code, où le découpage classique est mauvais. Et un lien avec H5 : les « idées » d'un LCM vivent dans un espace continu où une même phrase est proche de plusieurs familles, plus proche d'un graphe que d'un arbre.
H1 · L'appétit de données vient en partie d'une hiérarchie absente (55 %) H5 · Un graphe, pas un arbre (60 %)
Empiler un étage de plus : des lettres aux morceaux (H-Net), des morceaux aux idées (LCM), des idées aux règles. Le niveau du haut deviendrait la mémoire compacte du modèle, celle de notre hypothèse H2.