Bisher haben wir jeden Ansatz für sich untersucht. Eine KI von morgen würde sie aber zusammen nutzen. Einfache Frage, weniger einfache Antwort: Addieren sich die Einsparungen, oder treten sie sich gegenseitig auf die Füße?
Vielversprechendaktualisiert am
I
Die Idee, einfach erklärt
Stellen Sie sich Leonardos Werkstatt vor. Um mehr Bilder zu liefern, ohne sich zu erschöpfen, kann er die Arbeit zuerst den Lehrlingen geben (erst das kleine Modell), nur den nötigen Spezialisten rufen (die Experten), Schablonen statt Handarbeit nutzen (die Programme), weniger Pigment mahlen (weniger Bits), das Werkzeug wechseln (die Maschine), den Meister gegenlesen lassen (das Prüfen) und seine Vorlagen in einem Notizbuch statt im Kopf aufbewahren (der getrennte Speicher).
Jeder Kniff setzt an einem anderen Teil der Kosten an. Deshalb darf man hoffen, dass sie sich stapeln lassen. Aber sie berühren sich auch: Eine Schablone nützt nichts, wenn niemand das Ergebnis prüft, und viele Lehrlinge brauchen Platz in der Werkstatt. Die Abbildung geht alle 21 Paare durch.
Experten × weniger Bits: gpt-oss speichert seine Experten in 4 Bit und passt auf eine einzige Grafikkarte.
Weniger Bits × Maschine: NorthPole betreibt ein Sprachmodell in 4 Bit, die Gewichte bleiben auf dem Chip.
Experten × Maschine: Viele Experten heißen viele Gewichte, die untergebracht werden müssen, und Chips mit eingebautem Speicher haben wenig davon.
Weniger Bits × Prüfen: Lange Denkketten häufen Rundungsfehler an.
Schematische Darstellung: Sie zeigt die Idee, keine Messwerte.
Sieben Ansätze ergeben 21 Paare. Jedes Feld zeigt, ob sich zwei Ansätze helfen (+), behindern (−), beides tun (±) oder nichts miteinander zu tun haben (·). Es ist eine Lesart des Autors, gestützt auf die im Notizbuch zitierten Studien: Wenige Studien haben zwei Ansätze zusammen getestet, und fast keine hat den Anteil jedes einzelnen an der Mischung gemessen.II
Der Weg einer Frage
Folgen wir einer Frage durch ein System, das alle sieben Ansätze nutzt. 1. Ein Verteiler schaut sie an. Kann ein Programm sie schon beantworten (eine Rechnung, eine Umrechnung), wird es aufgerufen: fast kostenlos.
2. Sonst antwortet ein kleines Modell. Es besteht aus Experten, von denen nur wenige anspringen, seine Gewichte sind in 4 Bit, und es läuft auf einem Chip, der diese Gewichte nahe an der Rechnung hält. 3. Braucht es eine Tatsache, schlägt es sie in einem Speicher nach, statt sich auf seine Gewichte zu verlassen.
4. Seine Antwort durchläuft eine Prüfung: Tests, wenn es Code ist, sonst ein größeres Modell, das mehrere Wörter auf einmal bestätigt. 5. Nur wenn die Prüfung scheitert, steigt die Frage zum großen Modell auf. Bei jedem Schritt zahlt man den vollen Preis nur, wenn es nötig ist.
III
Was sich addiert
Vier Kombinationen funktionieren schon in echten Systemen. Gemeinsam ist ihnen: Die beiden Ansätze wirken auf verschiedene Faktoren, sodass der eine dem anderen den Gewinn nicht wegfrisst.
Belegt
Experten + weniger Bits: gpt-oss und Kimi K2 Thinking
Experten verringern den Teil des Modells, der rechnet; 4 Bit verringern die Größe jedes Gewichts. Beides addiert sich: gpt-oss schaltet nur 5,1 seiner 117 Milliarden Parameter ein und speichert seine Experten in 4 Bit, genug, um auf eine einzige GPU mit 80 GB zu passen. Kimi K2 Thinking macht dasselbe im Maßstab von einer Billion Parametern und generiert etwa doppelt so schnell.
Ein Chip, der die Gewichte an Ort und Stelle hält, hat wenig Speicher; 4-Bit-Gewichte brauchen dort ein Viertel des Platzes von 16-Bit-Gewichten. So betrieb IBM ein Modell mit 3 Milliarden Parametern auf 16 NorthPole-Karten, mit weniger als einer Millisekunde pro Wort. Ohne die Kompression hätte das Modell nicht auf die Chips gepasst.
Ein Programm lässt sich leicht prüfen: Man führt es aus und misst. Genau das erlaubt es, ein Modell Tausende davon vorschlagen zu lassen und nur die besten zu behalten. AlphaEvolve gewann daraus eine kürzere Matrixmultiplikation und 0,7 % zurückgewonnene Rechenleistung bei Google; ShinkaEvolve stellt mit 150 Versuchen einen Rekord auf.
Erst das kleine Modell + Prüfung: spekulatives Dekodieren
Die ausgereifteste Kaskade ist zugleich eine Prüfung: Ein kleines Modell schlägt mehrere Wörter vor, das große prüft sie in einem einzigen Durchgang. Der fertige Text ist genau der des großen Modells, entsteht aber 2- bis 3-mal schneller, mit EAGLE-3 bis zu 6,5-mal.
Drei Reibungen tauchen in den Studien immer wieder auf. Sie entstehen, wenn zwei Ansätze an derselben Ressource ziehen: am Speicher, an der Genauigkeit oder an dem Vertrauen, das man dem Richter schenken kann.
Vielversprechend
Viele Experten gegen wenig Speicher
Eine Expertenmischung schaltet nur wenige ein, muss aber alle griffbereit halten. Schnelle Chips mit eingebautem Speicher haben davon sehr wenig: Taalas graviert ein Modell mit 8 Milliarden Parametern, nicht eines mit einer Billion. Die gemeinsamen Skalierungsgesetze mildern den Konflikt, ohne ihn zu lösen: Die richtige Zahl an Experten hängt vom verfügbaren Speicher ab.
Jedes geschriebene Wort baut auf den vorherigen auf, also kann sich ein kleiner Rundungsfehler fortpflanzen. Modelle, die lange nachdenken, reagieren empfindlicher darauf: Moonshot AI erklärt, die 4 Bit beim Training von Kimi K2 Thinking erlernen gemusst zu haben. Und sehr gut trainierte Modelle, die man am liebsten komprimieren würde, sind die empfindlichsten.
Eine Kaskade ist nur so gut wie ihr Richter. Ein Verteiler lässt sich absichtlich täuschen, sodass er alles an das teure Modell schickt, und bei gleichen Regeln schlagen viele Verteiler die einfachste Strategie kaum. Je mehr Stufen man stapelt, desto mehr verlässliche Richter braucht man, und jeder Richter ist eine weitere Tür für einen Angriff.
Auf dem Papier ist es verlockend: Wenn jeder Ansatz die Kosten halbierte, würden sieben Ansätze sie durch 2⁷ = 128 teilen. Das ist der Geist unserer Hypothese H6, die wir mit 35 % ansetzen.
Aber eine einfache Regel, das Amdahlsche Gesetz, dämpft die Begeisterung: Einen Teil der Arbeit zu beschleunigen, hilft nur für diesen Teil. Ein rein illustratives Beispiel: Wenn das große Modell die Hälfte der Gesamtkosten ausmacht und man es zehnmal billiger macht, sinken die Gesamtkosten nicht um 90 %, sondern um 45 %. Man geht von 100 auf 50 + 5 = 55.
Die Gewinne multiplizieren sich also, wenn die Ansätze verschiedene Teile der Kosten treffen (Experten und Bits), und überlappen sich, wenn sie denselben treffen: Eine Kaskade, die das große Modell umgeht, spart weniger, wenn dieses Modell dank Experten schon billig geworden ist. Unsere Lesart: Kombinieren bringt viel mehr als ein Ansatz allein, aber deutlich weniger als das Produkt der einzeln gemessenen Gewinne. Niemand hat es bisher sauber gemessen.
Die Matrix ist eine Lesart, keine Messung. Sie stützt sich auf Studien, die fast immer nur einen Ansatz testen. Systeme, die mehrere kombinieren, wie gpt-oss oder Kimi K2, veröffentlichen nicht, was jeder Ansatz zur Mischung beiträgt.
Sie lässt auch zwei sehr reale Kosten außen vor: die Komplexität (jeder zusätzliche Ansatz ist ein weiteres Teil, das brechen kann) und das Bündeln von Anfragen. Ein Server ist effizient, wenn er viele ähnliche Fragen gleichzeitig bearbeitet; jede Verteilentscheidung, jede variable Tiefe bricht diese Bündel ein wenig auf.
VII
Wie man sie auf die Probe stellt
Ein einfaches Experiment würde es klären: ein offenes Modell nehmen und die Ansätze einen nach dem anderen hinzufügen, in mehreren Reihenfolgen, und jedes Mal die Kosten pro richtiger Antwort auf demselben Test messen.
Wenn sich die Gewinne multiplizieren, spielt die Reihenfolge keine Rolle, und der letzte Zusatz bringt so viel wie der erste. Wenn sie sich überlappen, bringt jeder Zusatz weniger als der vorige. Diese Kurve würde besser als jede Tabelle zeigen, mit welchem Ansatz man anfangen sollte.