Vertiefung · Folio II
Ein klassisches Modell liest Text in kleinen Stücken, alle von derselben Art, vorab von einem festen Wörterbuch zugeschnitten. Wir lesen Buchstaben, dann Wörter, dann Ideen. Was, wenn das Modell diese Ebenen selbst baute?
Vor dem Training schneidet ein Werkzeug namens Tokenizer den Text nach einem festen Wörterbuch in „Tokens“. Das Modell sieht nie die Buchstaben und denkt nie auf einer höheren Ebene als diese Tokens: Alles spielt sich auf einer einzigen Ebene ab.
Die Arbeiten auf dieser Seite fügen Ebenen hinzu und lassen das Modell vor allem selbst entscheiden, wo es schneidet.
Stellen Sie sich eine Fabrik mit drei Werkstätten vor. Eine kleine Werkstatt liest den Text Buchstabe für Buchstabe. Sie fasst die Buchstaben zu Stücken zusammen und reicht diese Pakete an eine große zentrale Werkstatt weiter, die den Großteil des Denkens an einer viel kürzeren Folge erledigt. Eine letzte kleine Werkstatt rollt das Ergebnis wieder Buchstabe für Buchstabe aus.
Der Gewinn: Die zentrale Werkstatt, die teuerste, arbeitet mit weniger Elementen. Und der Schnitt folgt dem Inhalt: Eine vorhersehbare Passage bildet ein großes Stück, eine schwierige wird fein zerteilt. Die Rechenleistung geht dorthin, wo die Information ist.
Abb. C — Von Buchstaben zu Ideen
Schematische Darstellung: Sie zeigt die Idee, keine Messwerte.
Die Denkeinheit wird der ganze Satz, abgelegt in SONAR, einem Bedeutungsraum, den 200 geschriebene und 76 gesprochene Sprachen teilen. Das Modell sagt die nächste Idee voraus, nicht das nächste Wort. Es übertrifft ein gleich großes Llama 3.1 bei mehrsprachigen Zusammenfassungen, ist aber weniger flüssig.
Kein Wörterbuch mehr: Das Modell liest Bytes und fasst sie zu „Patches“ variabler Größe zusammen, geschnitten dort, wo das Folgende unvorhersehbar wird. Erstmals erreicht es tokenbasierte Modelle, bis 8 Milliarden Parameter und 4 Billionen Bytes, und skaliert bei gleichen Inferenzkosten besser.
Quelle: Pagnoni et al., Byte Latent Transformer (Meta, ACL 2025)
Der Schnitt ist vollständig gelernt, ohne vorgegebene Regel. Von selbst erfindet das Modell Stücke von etwa 4,5 bis 5 Bytes, vergleichbar mit klassischen Tokens. Mit zwei Ebenen erreicht es ein Token-Modell doppelter Größe und gewinnt bei DNA fast das 4-Fache an Dateneffizienz.
Das ist genau der Weg, den unser Schluss IV nahelegte: eine Hierarchie, die gelernt, nicht diktiert wird. Der Tokenizer war eine handgeschriebene Regel; H-Net ersetzt sie durch Lernen. Es ist Suttons „bittere Lektion“, angewandt auf die Hierarchie selbst.
Und es ist ein Weg zur Sparsamkeit: Wer Rechenleistung nach Schwierigkeit verteilt, gibt weniger für das Vorhersehbare aus.
Diese Architekturen sind schwieriger zu trainieren: Die Folgen haben variable Längen, und jede Ebene hat eigene Einstellungen. Getestet wurden sie bis zu einigen Milliarden Parametern, weit entfernt von den größten Modellen. LCMs haben noch Mühe mit der Flüssigkeit und hängen von einem festen Bedeutungsraum (SONAR) ab, den sie nicht selbst lernen.
Stütze für H1: Eine ausdrückliche Struktur vorzugeben (oder bauen zu lassen), macht das Lernen effizienter, deutlich bei DNA, Chinesisch und Code, wo der klassische Schnitt schlecht ist. Und eine Verbindung zu H5: Die „Ideen“ eines LCM leben in einem kontinuierlichen Raum, in dem ein Satz mehreren Familien nahe ist, eher wie ein Graph als ein Baum.
H1 · Der Datenhunger kommt teils von einer fehlenden Hierarchie (55 %) H5 · Ein Graph, kein Baum (60 %)
Eine weitere Ebene stapeln: von Buchstaben zu Stücken (H-Net), von Stücken zu Ideen (LCM), von Ideen zu Regeln. Die oberste Ebene würde zum kompakten Gedächtnis des Modells, dem aus unserer Hypothese H2.