Bisher trug jede Hypothese eine einzige Zahl, in einem Stück gewählt. Eine einzige Zahl verbirgt, wo der Zweifel sitzt. Hier zerlegen wir jede in Glieder, die alle halten müssen, beziffern jedes Glied, multiplizieren und messen das Ganze an den seither erschienenen Studien. Vier Hypothesen sinken deutlich, drei steigen, zwei werden umformuliert. Hier ist die Überlegung, Zahl für Zahl.
Spekulativaktualisiert am
I
Warum die Hypothesen wieder öffnen
Das Notizbuch hat neun Hypothesen. Jede sagt etwas, das wir über die KI von morgen glauben, mit einem Vertrauensgrad: 75 %, 40 %, 55 % … Diese Zahlen waren ehrlich, aber pauschal: Wir betrachteten die Hypothese als Ganzes und fragten „Ist das wahrscheinlich?“.
Das Problem: Eine Hypothese ist selten eine einzige Behauptung. Sie ist eine Kette: A muss stimmen, und B muss folgen, und C muss in der Praxis halten. Ein Meteorologe sagt nicht aus dem Bauch „70 % Regen morgen“: Er kombiniert die Wahrscheinlichkeit, dass eine Front kommt, dass sie feucht genug ist, dass sie nicht abdreht. Genau das tun wir hier, für jede der neun.
II
Die Methode: in Glieder zerlegen
Schritt 1. Die Behauptungen aufschreiben, die die Hypothese braucht, um wahr zu sein, und nur diese. Das sind die Glieder a, b, c.
Schritt 2. Jedes Glied beziffern, unter der Annahme, dass die vorigen stimmen. Das nennt man eine bedingte Wahrscheinlichkeit: „Wenn a stimmt, wie wahrscheinlich ist b?“. Das Detail zählt: Die Glieder einer Kette stützen sich oft gegenseitig, und sie getrennt zu beziffern, würde die Summe zu Unrecht drücken.
Schritt 3. Multiplizieren. Wenn a 90 % wert ist und b, gegeben a, 50 %, ist die Kette 0,9 × 0,5 = 45 % wert. Ein Produkt ist immer kleiner als sein kleinster Faktor: Eine Kette kann nicht stärker sein als ihr schwächstes Glied.
Zwei Fallen lauern, in entgegengesetzte Richtungen. Die erste: Eine reiche, stimmige Geschichte wirkt wahrscheinlicher als eine einfache, obwohl sie zwangsläufig weniger wahrscheinlich ist, weil sie mehr verlangt. Das war unser Fehler mit den pauschalen Zahlen. Die zweite: In zu viele Glieder zu zerlegen, jedes vorsichtig beziffert, lässt die Summe künstlich schmelzen. Wir beschränken uns daher auf zwei oder drei Glieder pro Hypothese, jedes wirklich nötig.
Eine letzte Regel, zur Stimmigkeit: Wenn eine Hypothese eine andere nach sich zieht, kann die erste nicht wahrscheinlicher sein als die zweite. Ein Sonderfall kann nicht sicherer sein als die allgemeine Regel, aus der er folgt. Diese Regel hat uns unseren ersten Fehler finden lassen.
III
Erster Befund: Zwei Hypothesen widersprachen sich
H7 sagte „Der Richter kann lehren“: Ein Modell wird besser, indem es probiert und bewertet wird. Wir gaben ihr 50 %. H9, vor drei Tagen hinzugekommen, sagte, ein kleines Modell werde auf einem gewöhnlichen Computer dank eines äußeren Richters besser. Wir gaben ihr 55 %.
Doch H9 ist ein Sonderfall von H7: Wenn ein Richter ein kleines Modell auf einem PC besser macht, dann kann ein Richter lehren. Der Sonderfall konnte nicht wahrscheinlicher sein als der allgemeine Fall. Eine der beiden Zahlen war falsch.
Beim Nachgraben kam der Widerspruch von einem Wort. „Lehren“ vermischte zwei sehr verschiedene Dinge. Schärfen: zuverlässig machen, was das Modell manchmal fand. Das ist gesichert; Yue und Koautoren messen es, alle Studien bestätigen es. Erweitern: das Modell finden lassen, was es nie fand. Darüber wird gestritten.
Wir korrigieren also H7. Schärfen wird eine Tatsache, keine Hypothese mehr. H7 handelt jetzt von der Erweiterung, der echten offenen Frage. H9 bleibt beim Schärfen, und die beiden Zahlen widersprechen sich nicht mehr.
Was H1 sagt: Gibt man dem Modell die Struktur der Daten (Herkunft, Stufe, Abhängigkeiten), bräuchte es weniger Beispiele.
Glied a, 85 %: Strukturhinweise sparen wirklich Daten, zumindest bis zu einigen Milliarden Parametern. Glied b, 65 %: Der Gewinn verschwindet bei großen Modellen nicht. Gewinne aus der Reihenfolge des Lernens schrumpften mit der Größe, daher unsere Vorsicht; aber das Ergebnis unten findet sich von 600 Millionen bis 8 Milliarden Parametern.
Rechnung: 0,85 × 0,65 = 55 %. H1 steigt etwas. Offen bleibt: Hilft die Hierarchie oder ein einfaches Herkunftsetikett? Die Studie nutzt ein flaches Etikett, die Adresse der Website. Unsere H1 schließt die Herkunft ein, also zählt es; aber die ehrgeizigste Form, mit Stufen und Abhängigkeiten, ist noch zu testen.
Gao und Koautoren in Princeton setzen beim Training einfach die Herkunftsadresse (zum Beispiel en.wikipedia.org) vor jeden Text und entfernen sie am Ende. Ein Modell mit 1,6 Milliarden Parametern erreicht das klassische Training mit 33 % weniger Daten, ohne zusätzliche Rechenleistung, von 600 Millionen bis 8 Milliarden Parametern. Auch von einem Modell erzeugte Themen funktionieren als Etiketten.
H2 · Das Obere lernen, das Untere nachschlagen: von 75 % auf 64 %
Was H2 sagt: die Parameter den Prinzipien vorbehalten und die Fakten in einem externen Speicher ablegen.
Glied a, 92 %: Man kann die Fakten ohne Verlust bei Wissensfragen aus dem Modell auslagern. RETRO, die Speicherschichten, Engram und jetzt HippoRAG 2 zeigen es. Glied b, 82 %: Der frei gewordene Platz dient wirklich besserem Schlussfolgern, bei gleichem Budget. Engram gewinnt 3 Punkte, aber teils bei Wissensfragen: ein Indiz, kein Beweis. Glied c, 85 %: Die Kosten des Nachschlagens (Zeit, Speicherverkehr) bleiben im echten Einsatz tragbar.
Rechnung: 0,92 × 0,82 × 0,85 = 64 %. Das ist die größte Lehre zur Methode: Jedes Glied ist solide, aber drei solide Glieder ergeben eine mittelmäßige Kette. Unsere pauschalen 75 % schauten auf Glied a, das überzeugendste, und vergaßen die beiden anderen.
Neu: ein Speicher, der unterwegs nichts verliert (2025)
HippoRAG 2 legt die Textstellen in einem Graphen ab und bewegt sich darin, wie sich ein Gerücht unter Freunden verbreitet. Es übertrifft die klassische Suche zugleich bei einfachen Fakten, beim Gesamtverständnis und bei Verbindungen zwischen entfernten Fakten (etwa 7 Punkte besser), wo frühere Graphmethoden bei einfachen Fakten verloren.
H3 · Regeln und Ausnahmen: von 40 % auf 48 %, durch Eingrenzen
Was H3 sagte: Überall würde es das Wissen verdichten, die Regeln und nur die Daten zu behalten, die ihnen entgehen.
Zerlegt bricht die allgemeine Form ein. Glied a, 80 %: Wo ein Programm prüfen kann, wissen wir, wie man Regeln aus Beispielen gewinnt (AlphaEvolve, FunSearch). Glied b, 60 %: Regeln + Ausnahmen zu behalten, spart wirklich Trainingsdaten; Daten gut auszuwählen, verändert die Form der Lernkurve, das ist ermutigend. Glied c, 45 %: Das gilt auch für die Alltagssprache voller Ausnahmen und Nuancen. Produkt: 0,8 × 0,6 × 0,45 = 22 %.
Statt eine zu breite Hypothese zu behalten, grenzen wir sie auf prüfbare Bereiche ein, wo unsere Gründe echt sind: 0,8 × 0,6 = 48 %. Glied c verschwindet nicht: Es wird eine Frage für später. Eingrenzen ist kein Schummeln, solange man es sagt: Eine engere Hypothese behauptet weniger, also ist sie eher wahr.
Was H4 sagt: Wenn jede Modellgeneration von der vorigen lernt, würde das Behalten der seltenen Rohdaten das Abdriften verhindern.
Glied a, 90 %: Das Abdriften trifft zuerst die seltenen Fälle. Gesichert seit Shumailov. Glied b, 75 %: Echte Daten zu behalten, verhindert das Abdriften. Gerstgrasser zeigt, dass Anhäufen statt Ersetzen es vermeidet; aber eine Studie von 2025 zeigt, dass ein kleiner Anteil künstlicher Daten reichen kann, um den Fortschritt zu blockieren. Glied c, 65 %: Nur die seltenen Fälle zu behalten, nicht alles, genügt. Das ist unsere sparsame Fassung, und niemand hat sie getestet.
Rechnung: 0,9 × 0,75 × 0,65 = 44 %. Der stärkste Rückgang im Notizbuch. Unsere 70 % ruhten auf Glied a, sehr solide, und setzten die beiden anderen voraus. Machen wir die Gegenprobe: Ist es wahrscheinlicher, dass es nicht reicht, nur die Ausnahmen zu behalten? Ja, ein wenig, solange es niemand versucht hat. Genau das sagen 44 %.
Dohmatob und Koautoren zeigen in einem vereinfachten mathematischen Rahmen und dann an Sprachmodellen, dass schon 1 % künstliche Daten im Training verhindern kann, dass das Modell von mehr Daten profitiert: Die Lernkurve sinkt nicht mehr. Und größere Modelle können den Effekt verstärken. Mischen reicht also nicht immer: Man muss wissen, was man behält.
Was H5 sagt: Wissen ist ein Netz, eine Idee gehört zu mehreren Familien; ein nützlicher Speicher bestünde aus Bäumen, die sich kreuzen.
Glied a, 85 %: Strukturen, in denen eine Textstelle zu mehreren Gruppen gehört, schlagen einfache Bäume bei Fragen, die mehrere Fakten verbinden. GraphRAG, RAPTOR und HippoRAG 2 weisen in diese Richtung. Glied b, 75 %: Die Kosten für Aufbau und Pflege bleiben in großem Maßstab vertretbar.
Rechnung: 0,85 × 0,75 = 64 %. Fast unverändert: Unsere pauschale Zahl war schon gut kalibriert. Ein gutes Zeichen für die Methode, die nicht alles senkt, was sie berührt.
H6 · Die Gewinne multiplizieren sich: von 35 % auf 42 %
Was H6 sagt: Stapelt man Experten, Kaskade, niedrige Genauigkeit und bessere Hardware, sänken die Kosten einer Antwort um das 100-Fache, ohne neues Riesenmodell.
Glied a, 95 %: Jeder Hebel allein teilt die Kosten durch 2 bis 4. Glied b, 55 %: Die Hebel sind unabhängig genug, dass ihr Produkt bis auf einen Faktor 3 hält. Das ist das schwache Glied: Das Amdahlsche Gesetz sagt, dass das Beschleunigen eines Teils nur für diesen Teil hilft. Glied c, 80 %: 100 wird in der Praxis erreicht.
Rechnung: 0,95 × 0,55 × 0,8 = 42 %. Warum b gegenüber unserer Synthese anheben? Weil die echte Welt das Experiment für uns gemacht hat: Bei gleicher Leistung sind die Preise viel schneller gefallen, als ein einzelner Hebel erklärt. Das ist ein indirekter Beleg, dass sich die Hebel stapeln. Doch diese Rückgänge kommen auch von neuen, besser trainierten Modellen, die H6 ausschließt: daher Glied b bei 55 %, nicht mehr.
Epoch AI misst, dass bei fester Leistung der Preis einer Antwort je nach Aufgabe um das 9- bis 900-Fache pro Jahr fällt; das Niveau von GPT-4 bei naturwissenschaftlichen Fragen auf Doktorandenniveau zu erreichen, wurde jedes Jahr 40-mal billiger. Eine andere, vorsichtigere Studie findet 5- bis 10-mal pro Jahr für Spitzenmodelle und merkt an, dass die Nutzung der Spitzenmodelle dagegen immer teurer wird, weil sie größer sind und länger nachdenken.
H7 · Kann der Richter entdecken lassen? 43 %, umformuliert
Was H7 jetzt sagt: Mit langem, vielfältigem Training ließe ein verlässlicher Richter das Modell Lösungen finden, die es nie fand, auch nicht in Tausenden Versuchen.
Glied a, 95 %: Ein Richter macht das Modell zuverlässiger. Gesichert. Glied b, 45 %: Mit längerem Training erweitert er, was das Modell finden kann. Zwei Teams, oft mit denselben Forschern, antworten einander. Das eine zeigt eine echte Erweiterung, vor allem bei Code; das andere zeigt, dass das Modell im Allgemeinen den Zugang zu mehr Lösungen verliert, als es gewinnt. Bezeichnendes Detail: Der Titel der zweiten Studie hat in der letzten Fassung ein Fragezeichen bekommen.
Rechnung: 0,95 × 0,45 = 43 %. Niedriger als die alten 50 %, aber für eine stärkere, klarere Behauptung. Das ist die Hypothese, die für den Rest des Notizbuchs am meisten zählt: Fällt sie, wird ein kleines Modell allein nie über das hinauskommen, was es schon zufällig fand.
Bei NVIDIA trainieren Liu und Koautoren ein Modell mit 1,5 Milliarden Parametern lange, stabilisieren das Lernen und variieren die Aufgaben. Das Modell löst Probleme, an denen das Ausgangsmodell bei beliebig vielen Versuchen scheiterte. Aber die Autoren merken selbst an: In Mathematik, wo das Ausgangsmodell schon stark war, sinkt der Erfolg über 128 Versuche oft.
Wu und Koautoren, darunter mehrere ProRL-Autoren, verfolgen das Training Schritt für Schritt. Ihr Befund über viele Tests: Verstärkungslernen verbessert den ersten Versuch, verliert aber den Zugang zu mehr richtigen Antworten, als es gewinnt. Das Modell bleibt an der Leine seines Ausgangspunkts; um sie zu zerreißen, müsste man Ideen in Bereiche säen, die es nie erkundet.
H8 · Der gut ausgestattete Kleine: von 55 % auf 46 %
Was H8 sagt: Bei prüfbaren Aufgaben würde ein gut ausgestattetes Modell mit 8 Milliarden Parametern ein hundertmal größeres Modell erreichen, zu vergleichbaren oder geringeren Kosten.
Glied a, 90 %: Es erreicht dieselbe Punktzahl. Gesichert in Mathematik: Ein Modell mit 1 Milliarde Parametern und 512 aussortierten Versuchen schlägt ein Modell mit 405 Milliarden. Glied b, 60 %: zu vergleichbaren Gesamtkosten, alle Versuche und den Richter mitgezählt, gegen Experten-Riesen, die nur einen kleinen Teil von sich einschalten. Glied c, 85 %: Das gilt über Mathematik und Code hinaus, bei anderen prüfbaren Aufgaben.
Rechnung: 0,9 × 0,6 × 0,85 = 46 %. Glied b ist der Kern des Zweifels, und unsere alten 55 % überspielten ihn. Ein neuer Befund hilft dem Kleinen allerdings: Was man zu Hause laufen lassen kann, holt die Riesen schnell ein.
Neu: Die Spitze kommt in weniger als einem Jahr nach Hause (2025)
Epoch AI misst, dass die besten offenen Modelle, die auf eine einzige Consumer-Grafikkarte passen, je nach Test etwa 6 bis 12 Monate hinter der Spitze liegen. Vorsicht, merken sie an: Kleine Modelle sind häufiger auf Tests optimiert, der echte Rückstand ist wohl etwas länger.
Was H9 sagt: Auf einem gewöhnlichen Computer macht ein äußerer Richter ein kleines Modell deutlich besser, bis an die Decke dessen, was es in vielen Versuchen fand.
Glied a, 75 %: Der Gewinn ist deutlich (mindestens 5 Punkte) bei irgendeinem modernen kleinen Modell, nicht nur bei einer ausgewählten Familie. Glied b, 90 %: Es passt in einer Woche auf eine Gamingkarte; das sind unsere Rechnungen von der vorigen Seite. Glied c, 80 %: Die Beschreibung der Decke stimmt; die unsichtbare Leine bestätigt sie, ProRL bestreitet sie, aber nach einem Training, das viel länger als eine Woche ist.
Rechnung: 0,75 × 0,9 × 0,8 = 54 %. Fast unverändert, aber der Zweifel ist umgezogen: Er sitzt jetzt in Glied a, wegen der Studie unten. Unser geplantes Experiment nutzt Llama, genau die Familie, in der die leichten Effekte verschwinden. Umso besser: Es wird umso aussagekräftiger.
Neu: Zufallsbelohnungen, die wirken … bei nur einer Familie (2026)
Shao und Koautoren trainieren Qwen2.5-Math-7B per Verstärkungslernen mit zufällig gezogenen Belohnungen: Es gewinnt beim Test MATH-500 21,4 Punkte, fast so viel wie die 29,1 Punkte mit den echten Antworten. Das Verstärkungslernen weckt vor allem eine schon vorhandene Gewohnheit (in Code denken). Bei Llama 3 oder OLMo 2 bringen diese falschen Belohnungen fast nichts. Lehre: an mehreren Familien testen, bevor man den Sieg ausruft.
Was sinkt: H2 (75 → 64), H4 (70 → 44), H8 (55 → 46), H7 (50 → 43, umformuliert) und H9 um einen Punkt. Fast immer aus demselben Grund: Wir hatten das sichtbarste Glied beziffert und die anderen vorausgesetzt.
Was steigt: H1 (50 → 55) dank einer neuen Studie, H6 (35 → 42) dank des gemessenen Preisverfalls, H3 (40 → 48) durch Eingrenzen. H5 bewegt sich kaum.
Die große These des Notizbuchs ruht auf drei Hypothesen: ein externer Speicher (H2), als Graph geordnet (H5), und ein kleines Modell, das mit einem Richter besser wird (H9). Wären sie unabhängig: 0,64 × 0,64 × 0,54 = 22 %. Ganz unabhängig sind sie nicht (dieselbe technische Wirklichkeit trägt sie), also liegt der wahre Wert höher, ohne den der schwächsten, 54 %, zu übersteigen. Wir sagen etwa 30 %: weniger als eine Chance von eins zu zwei, dass das ganze Programm hält. Darum muss entschieden werden, Glied für Glied.
Abb. O — Wo der Zweifel sitzt
Vertrauen heute (Produkt der Glieder)früheres VertrauenGlieder a, b, c
Schematische Darstellung: Sie zeigt die Idee, keine Messwerte.
Jede Zeile ist eine Hypothese. Die Kreise sind ihre Glieder, jedes beziffert unter der Annahme, dass die vorigen stimmen; der Balken ist ihr Produkt, also das neue Vertrauen; der rote Strich das alte. Eine Hypothese ist so zerbrechlich wie ihr schwächstes Glied, und ein wenig mehr: Der Balken endet immer links vom am weitesten links liegenden Kreis.XIV
Drei Experimente zur Entscheidung
Welches Experiment würde unsere Zahlen am stärksten bewegen? Für jedes schreiben wir die möglichen Ergebnisse auf, ihre Wahrscheinlichkeit und das Vertrauen, das daraus folgen würde. Es gilt eine Stimmigkeitsregel: Der Mittelwert des Vertrauens nach dem Experiment muss dem Vertrauen davor entsprechen. Sonst wüssten wir schon, in welche Richtung es fällt, und müssten unsere Zahl sofort ändern. Wir haben diese Regel für alle drei geprüft.
Dann messen wir die erwartete Verschiebung: die nach Wahrscheinlichkeiten gewichtete Summe der Vertrauensänderungen. Je größer sie ist, desto mehr lehrt uns das Experiment.
Spekulativ
E1 · Zwei Familien, echter Richter gegen Zufallsrichter · etwa 20 €
Das Experiment der vorigen Seite, mit Llama und Qwen, mit echten und zufälligen Belohnungen: vier Wochen einer Gamingkarte. Drei Ausgänge: Llama wird nur mit dem echten Richter deutlich besser, Decke unverändert (55 %) → H9 66 %, H7 37 %; nur Qwen wird besser (25 %) → H9 25 %, H7 38 %; Llama wird besser und sein Erfolg über 64 Versuche springt (20 %) → H9 60 %, H7 65 %. Mittelwerte: H9 54,6 %, H7 42,9 %, stimmig. Erwartete Verschiebung: 24 Punkte.
Spekulativ
E2 · Hierarchische Etiketten gegen flaches Etikett · etwa 16 000 GPU-Stunden
Modelle mit 1 und 8 Milliarden Parametern trainieren: ohne Etikett, mit der Herkunftsadresse und mit Stufen und Abhängigkeiten. Drei Ausgänge: Die Hierarchie schlägt das flache Etikett und hält bei 8 Milliarden (50 %) → H1 75 %; nur das flache Etikett hilft und sein Gewinn schmilzt (30 %) → H1 40 %; bei 8 Milliarden bleibt nichts (20 %) → H1 25 %. Mittelwert 54,5 %, stimmig. Erwartete Verschiebung: etwa 20 Punkte. Kosten: 6 Rechenoperationen pro Parameter und Wort, bei 20 Wörtern pro Parameter, dreimal, bei 400 Billionen nützlichen Operationen pro Sekunde und Chip (eine Annahme): etwa 16 000 GPU-Stunden im Rechenzentrum. Eine Sache für ein Labor.
Spekulativ
E3 · Fünf Generationen: alles, die Seltenen oder nichts behalten · etwa 50 GPU-Stunden
Kleine Modelle (125 Millionen Parameter) lernen jeweils vom vorigen, fünfmal hintereinander, und behalten alle echten Daten, nur die seltensten 5 % oder nichts. Drei Ausgänge: Die seltenen 5 % sind so gut wie alles (40 %) → H4 75 %; sie helfen zur Hälfte (45 %) → H4 25 %; selbst alles zu behalten reicht nicht (15 %) → H4 20 %. Mittelwert 44,3 %, stimmig. Erwartete Verschiebung: etwa 25 Punkte, für rund fünfzig gemietete GPU-Stunden (unsere Schätzung, Erzeugung der Texte inklusive).
XV
Was wir mit diesen Zahlen tun
Die Reihenfolge der Experimente folgt aus der Rechnung: E1 und E3 lehren mindestens so viel wie E2, für hundert- bis tausendmal weniger. E1 passt auf einen gewöhnlichen Computer; E3 auf ein paar Stunden gemietete Rechenzeit. Diese beiden empfehlen wir zuerst.
Unsere Revisionsregeln, damit wir später nicht schummeln. Eine Hypothese ändert ihre Zahl nur, wenn sich ein Glied ändert, und wir sagen, welches. Eine Hypothese, bei der ein Glied unter 20 % fällt, wird umformuliert oder zurückgezogen, nicht aus Gewohnheit behalten. Und jede neue Hypothese kommt bereits in Glieder zerlegt.
Was diese Seite gewinnt, ist nicht eine Zahl mehr. Es ist das Wissen, für jede Hypothese, welcher genaue Satz zu beweisen oder zu widerlegen wäre. Eine Hypothese, von der man weiß, wie man sie zu Fall bringt, ist eine nützliche Hypothese.