Vertiefung · Folio III
In einem klassischen Modell durchläuft jedes Wort alle „Schubladen“ des Netzes, auch die, die nichts mit ihm zu tun haben. Was, wenn wir eine riesige Kartei hinzufügten, in der das Modell nur die zwei oder drei Karten öffnet, die es braucht?
Ein Sprachmodell speichert einen Großteil seines Wissens in sogenannten Feed-forward-Schichten. Sie funktionieren wie ein Gedächtnis, aber ein dichtes: Jedes Wort durchläuft sie vollständig, was jedes Mal Rechenaufwand kostet.
Eine Speicherschicht ersetzt (oder ergänzt) das durch eine riesige Tabelle aus Paaren Schlüssel → Wert. Für jedes Wort liest das Modell nur wenige Werte. So lassen sich Milliarden Parameter hinzufügen, ohne mehr zu rechnen, wie eine Bibliothek, die wächst, ohne dass jemand mehr Bücher liest.
Das Problem: Den besten Schlüssel unter einer Million zu finden, bräuchte normalerweise eine Million Vergleiche. Der Trick der Produktschlüssel (Lample und Koautoren, 2019): die Anfrage in zwei Hälften teilen, jede mit einer Liste von 1.000 Halbschlüsseln vergleichen und dann die besten kreuzen. So findet man das richtige Ergebnis unter 1.000 × 1.000 = einer Million Feldern mit nur 2.000 Vergleichen.
Das Modell liest dann einige Werte (etwa dreißig), bildet einen gewichteten Mittelwert, und ein „Tor“ entscheidet, wie viel davon in die weitere Rechnung einfließt.
Quelle: Lample et al., Large Memory Layers with Product Keys (NeurIPS 2019)
Abb. D — Die richtige Karte finden, ohne alle zu öffnen
Hier genügen 8 + 8 Vergleiche, um das beste Feld unter 64 zu finden. Mit 1.000 + 1.000 Vergleichen wählt man unter einer Million.
Schematische Darstellung: Sie zeigt die Idee, keine Messwerte.
Vielversprechend
Bis zu 128 Milliarden Speicherparameter, ergänzt zu Basismodellen mit bis zu 8 Milliarden, trainiert auf 1 Billion Tokens. Modelle mit Speicher schlagen dichte Modelle, die mehr als doppelt so viel Rechenaufwand nutzen, und Mixture-of-Experts-Modelle bei gleichem Rechenaufwand und gleicher Parameterzahl. Am deutlichsten ist der Gewinn bei Faktenfragen.
Vielversprechend
Ein Speicher, der in konstanter Zeit anhand kurzer Wortfolgen im Text abgefragt wird. Bei gleicher Größe und gleichem Rechenaufwand gewinnt das Modell mit 27 Milliarden Parametern +3 Punkte bei MMLU, +5 beim Schlussfolgern (BBH) und steigt bei einem Test zur Suche in langen Texten von 84,2 % auf 97 %. Die Tabelle mit 100 Milliarden Parametern kann im gewöhnlichen Arbeitsspeicher des Rechners liegen statt im knappen, teuren Speicher der GPU, bei weniger als 3 % Durchsatzverlust. Schaltet man sie ab, bricht das Faktenwissen ein (TriviaQA fällt auf 29 % seines Niveaus): Dort sind die Fakten abgelegt.
Quelle: DeepSeek, Engram: Conditional Memory via Scalable Lookup (2026)
Vielversprechend
Da jede Tatsache nur wenige Felder nutzt, kann man nur diese aktualisieren. Beim Lernen neuer Fakten verliert ein vollständig nachtrainiertes klassisches Modell 89 % seiner Leistung bei anderen Fragen, mit der LoRA-Methode 71 %. Mit gezielter Aktualisierung der Speicherfelder: nur 11 %, bei gleichem Lernerfolg.
Quelle: Lin et al., Continual Learning via Sparse Memory Finetuning (Meta, 2025)
Zwei Familien von Gedächtnissen zeichnen sich ab. Feste Tabellen (Memory Layers, UltraMem, Engram), ein für alle Mal gelernt. Und Gedächtnisse, die beim Lesen geschrieben werden, wie Titans.
Titans behält, was es überrascht: Genau das ist die Idee unserer Hypothese H4, in der Ausnahmen das sind, was es wert ist, behalten zu werden. Eine Maschine, die nur das Unerwartete speichert, betreibt eine Form der Kompression „Regeln + Ausnahmen“.
H4 · Ausnahmen sind der Anker (65 %)
Vielversprechend
Mixture-of-Experts-Modelle (MoE) sparen Rechenaufwand, müssen im Einsatz aber viele Parameter aus dem Speicher holen, was sie bremst. UltraMem (ByteDance, 20 Millionen Speicherfelder) ist bis zu 6-mal schneller als ein MoE gleicher Größe und gleichen Rechenaufwands, senkt die Nutzungskosten um bis zu 83 % und läuft fast so schnell wie ein dichtes Modell. Mehr Felder bremsen es kaum.
Quelle: Huang et al., Ultra-Sparse Memory Network (ByteDance, ICLR 2025)
Vielversprechend
Bei Google ist das Langzeitgedächtnis ein kleines Netz, das beim Lesen seine eigenen Gewichte ändert. Es schreibt auf, was es überrascht (gemessen an der Größe seines Fehlers), und vergisst den Rest nach und nach. Die klassische Attention dient als Kurzzeitgedächtnis. Ergebnis: Kontexte von über 2 Millionen Tokens, mit besserer Nadel-im-Heuhaufen-Suche als größere Modelle.
Quelle: Behrouz et al., Titans: Learning to Memorize at Test Time (Google, 2025)
Es ist der bisher direkteste Beleg, dass sich Wissen vom Denken trennen lässt, und zwar im Modell selbst. Bei Engram bricht ohne Speicher das Faktenwissen ein, nicht aber alles andere; und der Speicher entlastet sogar die ersten Schichten des Netzes fürs Schlussfolgern.
Es ist auch ein Weg zum Sparen: Der Speicher kann im gewöhnlichen, günstigen Arbeitsspeicher liegen, und ein Update betrifft nur wenige Felder, statt das ganze Modell neu zu trainieren.
In einer riesigen Tabelle zu lesen, kostet wenig Rechenaufwand, aber viel Speicherbandbreite: Es brauchte eine eigene Implementierung, um das effizient zu machen. Die veröffentlichten Tests reichen bis 8 Milliarden Basisparameter bei Meta und 27 Milliarden bei DeepSeek. Und dieser Speicher bleibt intern und undurchsichtig: Anders als in einer externen Datenbank kann man darin noch keine Quelle lesen oder zitieren.
Eine starke Stütze für H2 („das Obere lernen, das Untere nachschlagen“), die wir von 70 auf 75 % Zuversicht anheben. Bei Engram liegt die beste Aufteilung bei etwa einem Viertel der Parameter im Speicher und drei Vierteln im Rechnen: eine erste konkrete Zahl für die Grenze, nach der unsere offene Frage Nr. 3 fragt.
Ein Mini-Modell mit Speicherschicht: ihm eine Liste von Fakten beibringen und dann einen einzigen korrigieren, indem man nur dessen Felder berührt. Prüfen, ob es die Korrektur behält und nichts anderes vergisst, und schauen, ob sich die Felder eines Themas zusammenballen: Das wäre eine Hierarchie, die von selbst entsteht.