Lebendiges Notizbuch · Codex Nr. 1
Was, wenn wir Wissen ordnen, bevor wir es lernen?
Dieses Notizbuch ist unsere Tafel. Wir notieren hier Spuren, Hypothesen und vorläufige Schlüsse zu einer Frage: Wie lässt sich KI anders bauen, damit sie weniger kostet, weniger Energie braucht und sich seltener irrt? Erste Baustelle: eine Hierarchie der Daten, zum Lernen und zum Nachschlagen.
Heute trainiert man ein Modell auf einer „flachen Suppe“: Billionen Wörter, alle auf derselben Ebene. Ein flüchtiger Beitrag und ein Physiklehrbuch wiegen gleich viel. Unsere Ausgangsvermutung: Ein Teil des enormen Datenhungers der KI dient dazu, eine Hierarchie zu rekonstruieren, die ihr niemand gibt.
Abb. 1 — Die Pyramide des Wissens
Belegt
Kontrollierte Experimente zeigen, dass ein gut trainiertes Sprachmodell etwa 2 Bit Wissen pro Parameter speichert, nicht mehr. Jeder Parameter ist kostbar: Ihn mit Details zu füllen, hat einen Preis.
Quelle: Allen-Zhu & Li, Physics of Language Models 3.3 (2024)
Belegt
In derselben Studie sinkt die Fähigkeit, nützliches Wissen zu behalten, um bis zum 20-Fachen, wenn 7 von 8 Trainingstexten Rauschen sind. Schon der Name der Herkunftsseite vor jedem Text hilft dem Modell deutlich beim Sortieren. Ein Herkunftsetikett ist bereits eine kleine Hierarchie.
Quelle: Allen-Zhu & Li, Physics of Language Models 3.3 (2024)
Erster Weg, eine Hierarchie zu nutzen: die Trainingsdaten ordnen und auswählen, damit das Modell schneller und mit weniger lernt. Wie ein Schüler, der einem guten Lehrbuch folgt statt einem Stapel loser Notizen.
Belegt
phi-1 (1,3 Milliarden Parameter), trainiert auf Daten „in Lehrbuchqualität“, schlug beim Programmieren Modelle, die 10-mal größer waren und mit 100-mal mehr Daten trainiert wurden.
Über 200 Modelle, denen die Daten vom Leichten zum Schweren präsentiert wurden, erreichen das Referenzniveau mit 18 bis 45 % weniger Schritten. Ein geordnetes „Aufwärmen“, gefolgt von zufälliger Reihenfolge, hält bis zu 3,5 % Vorsprung.
Belegt
Eine weitere Studie von 2026 findet, dass diese Gewinne von der Größe abhängen: Die Reihenfolge stabilisiert vor allem kleine Modelle. Insgesamt bleiben die veröffentlichten Ergebnisse zum geordneten Lernen gemischt.
Quelle: Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)
Mit einem guten Maß dafür, was es wert ist, behalten zu werden, kann der Fehler exponentiell mit der Menge der behaltenen Daten sinken, statt dem üblichen langsamen Gesetz zu folgen. Theoretisch gezeigt und praktisch bei Bildaufgaben.
Quelle: Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
Metas Large Concept Models denken Satz für Satz, in einem Bedeutungsraum, den 200 Sprachen teilen: eine ausdrückliche Hierarchie von Wörtern zu Ideen. Vorerst sind sie weniger flüssig als klassische Modelle.
Belegt
Trainiert man ein Modell auf dem, was das vorige erzeugt hat, und ersetzt dabei die echten Daten, verarmt es: Seltene Fälle verschwinden zuerst. Sammelt man dagegen echte und synthetische Daten an, bleibt dieser Kollaps aus.
Quelle: Shumailov et al., AI models collapse… (Nature, 2024), Gerstgrasser et al., Is Model Collapse Inevitable? (2024)
Zweiter Weg: das Wissen außerhalb des Modells lassen, in Ebenen geordnet wie eine Bibliothek (Abteilung, Regal, Buch, Seite). Das Modell steigt nur so tief hinab, wie es für die Antwort nötig ist.
Abb. 2 — Suchen durch Absteigen
16 Dokumente · 4 Schritte
Belegt
RETRO (DeepMind) greift beim Schreiben auf eine Datenbank mit 2 Billionen Tokens zu. Es erreicht GPT-3 mit 25-mal weniger Parametern.
Belegt
RAPTOR gruppiert die Passagen eines Textes, fasst sie zusammen, fasst dann die Zusammenfassungen zusammen, bis ein Baum entsteht. Zusammen mit GPT-4 gewinnt es 20 Punkte Genauigkeit in einem Test mit schweren Fragen (QuALITY).
Belegt
GraphRAG (Microsoft) verknüpft die Entitäten eines Korpus zu einem Graphen, teilt ihn in verschachtelte Gemeinschaften und fasst jede Ebene zusammen. Bei Fragen zum ganzen Korpus schlägt es die klassische Suche in 70 bis 80 % der Vergleiche. Der Preis: Die Indexierung ist anfangs teuer.
Vielversprechend
Metas „Memory Layers“ fügen Millionen Schlüssel-Wert-Paare hinzu, die bei Bedarf abgefragt werden: mehr Wissen ohne mehr Rechenaufwand. Bei Faktenfragen verdoppelt sich die Genauigkeit mehr als.
Vielversprechend
Neuere hierarchische Speicher für Agenten engen die Suche Ebene für Ebene ein: Die Kosten wachsen ungefähr wie der Logarithmus der Speichergröße. Eine Theorie von 2026 zeigt, dass all diese Systeme demselben Schema folgen: gruppieren, verdichten, bei Bedarf aufklappen.
Quelle: Talebirad et al., Toward a Theory of Hierarchical Memory (2026), Hsu et al., HORMA, Organize then Retrieve (2026)
Was folgt, ist unser eigenes Nachdenken, kein veröffentlichtes Ergebnis. Die Zahl zur Zuversicht sagt, wie sehr wir heute daran glauben; sie wird sich ändern.
H1
Gäbe man dem Modell die Struktur der Daten (Ebene, Herkunft, Abhängigkeiten), bräuchte es weniger Beispiele, um sie zu rekonstruieren.
Quelle: Allen-Zhu & Li, Physics of Language Models 3.3 (2024), Zhang et al., Beyond Random Sampling (EACL 2026)
H2
Da Parameter knapp sind (je etwa 2 Bit), sollten wir sie für Prinzipien und Denkweisen reservieren. Fakten und Details kommen in einen externen Speicher, in Ebenen geordnet.
Quelle: Borgeaud et al., RETRO (DeepMind, 2021), Berges et al., Memory Layers at Scale (Meta, 2024)
H3
So wie sich ein Physiker das Gesetz und die Fälle merkt, die ihm widersprechen, würden wir die Regeln behalten und nur die Daten, die ihnen entgehen. Der Rest ließe sich ableiten.
Quelle: Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
H4
In einer Schleife, in der jede Modellgeneration aus dem von der vorigen verdichteten Wissen lernt, würde das Bewahren seltener Rohdaten das Abdriften verhindern.
Quelle: Shumailov et al., AI models collapse… (Nature, 2024), Gerstgrasser et al., Is Model Collapse Inevitable? (2024)
H5
Echtes Wissen ist ein Netz: Dieselbe Idee gehört zu mehreren Familien. Die nützliche Hierarchie bestünde aus mehreren Bäumen, die sich kreuzen.
Quelle: Edge et al., GraphRAG (Microsoft, 2024), Sarthi et al., RAPTOR (ICLR 2024)
Was wir zum jetzigen Stand denken. „Vorläufig“ ist das entscheidende Wort.
Externe Datenbanken, Bäume aus Zusammenfassungen, Gemeinschaftsgraphen: Die Gewinne sind gemessen und reproduziert. Das ist die reifste Seite der Frage.
Quelle: Borgeaud et al., RETRO (DeepMind, 2021), Sarthi et al., RAPTOR (ICLR 2024), Edge et al., GraphRAG (Microsoft, 2024)
Daten zu ordnen, hilft ein wenig; sie gut auszuwählen, hilft viel mehr. Ein Modell auf einer ausdrücklichen Hierarchie zu trainieren, ist fast unerforscht: Dort gibt es am meisten zu entdecken.
Quelle: Zhang et al., Beyond Random Sampling (EACL 2026), Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026), Gunasekar et al., Textbooks Are All You Need (2023)
Die Prinzipien in den Gewichten, die Details im Speicher. Das ist Hypothese H2, auf die die meisten Hinweise zulaufen.
Von Hand geschriebene Hierarchien wie das 1984 gestartete Projekt Cyc haben nie skaliert. Richard Suttons „bittere Lektion“: Was selbst lernt, gewinnt am Ende. Die Hierarchie muss also gelernt und dann sichtbar gemacht werden, nicht diktiert.
Quelle: Richard Sutton, The Bitter Lesson (2019), Cyc (Wikipedia)
Abb. 3 — Die vorgeschlagene Teilung
Im Modell
Im Speicher