Vertiefung · Folio IV
Ein Sudoku zu lösen, dauert; ein ausgefülltes Gitter zu prüfen, dauert Sekunden. Bei vielen Problemen ist Prüfen viel leichter als Finden. KI beginnt, auf diese Asymmetrie zu setzen, auf zwei Ebenen: beim Wort und bei der ganzen Antwort.
Ein Sprachmodell schreibt ein Wort nach dem anderen, und für jedes Wort muss es alle Gewichte lesen. Mehrere vorgeschlagene Wörter zu prüfen, geht aber in einem einzigen Durchlauf, fast so schnell wie eines zu schreiben. Daher die Idee: Ein kleines, schnelles Modell rät, das große bestätigt nur.
Auf der Ebene einer ganzen Antwort gilt dieselbe Asymmetrie: viele Versuche erzeugen und dann einen Prüfer (Tests, einen Beweisprüfer, einen Taschenrechner) den richtigen behalten lassen.
Beim spekulativen Dekodieren (Google, 2023) schlägt das kleine Modell einige Wörter vor; das große berechnet parallel die Wahrscheinlichkeit, die es jedem gegeben hätte. Eine geschickte Annahmeregel behält die richtigen und lost das erste falsche neu aus, sodass der Text genau derselben Verteilung folgt wie der des großen Modells allein.
Je öfter das kleine Modell richtig rät, desto größer der Gewinn. Spätere Arbeiten versuchen daher, es besser raten zu lassen, vor allem indem es Zugang zu den inneren Zuständen des großen Modells bekommt.
Quelle: Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)
Abb. K — Vorschlagen, dann prüfen
dieKatzeschläftunterdemauf
4 Wörter, geschrieben in einem einzigen Durchlauf des großen Modells
Schematische Darstellung: Sie zeigt die Idee, keine Messwerte.
Belegt
Bei T5-XXL 2- bis 3-mal schneller bei identischen Ausgaben, ohne das Modell neu zu trainieren oder zu verändern. Heute ist es ein Standardbaustein von KI-Servern.
Quelle: Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)
Belegt
Das vorschlagende Modell ist ein kleiner Kopf, der an die inneren Schichten des großen Modells angeschlossen ist, statt eines eigenen Modells. Berichtete Beschleunigung: bis zu 6,5-fach, 1,4-mal besser als EAGLE-2, und 1,38-mal mehr Durchsatz selbst bei 64 gemeinsam bedienten Anfragen.
Quelle: Li et al., EAGLE-3 (2025)
Vielversprechend
Mit 250 Versuchen und den projekteigenen Tests als Prüfer behebt ein offenes Modell 56 % echter GitHub-Meldungen (SWE-bench Lite) gegenüber 15,9 % in einem Versuch, besser als das damals beste Ergebnis mit einem Versuch (43 %). Fünf Versuche des billigen Modells kosteten weniger als ein Versuch der teuren Modelle und lösten mehr.
Alles hängt am Prüfer. Bei Code mit Tests oder einem mathematischen Beweis ist die Prüfung verlässlich. Bei einem Aufsatz oder einem Rat gibt es keinen automatischen Test: Mehrheitsabstimmungen und Bewertungsmodelle stagnieren nach einigen hundert Versuchen, weit unter dem, was ein perfekter Prüfer erlauben würde. Und spekulatives Dekodieren beschleunigt das Schreiben, nicht das Denken: Es macht das große Modell nicht klüger.
Die Prüfung stärkt die anderen Hebel von H6: Eine Kaskade braucht einen Richter, ein Werkzeug braucht Tests, ein kleines Modell kann oft versuchen, wenn etwas seine Arbeit kontrolliert. Sie deutet auch eine Rolle für unsere Hierarchie an: Die Regeln oben in der Pyramide könnten als Prüfer für die Details darunter dienen.
Bei Fragen zu OrigoTech-Artikeln, deren Antwort eine Zahl oder ein Datum ist, ein kleines Modell 10-mal antworten lassen und nur die Antworten behalten, die der Artikeltext selbst bestätigt. Die Trefferquote mit einer einzigen Antwort eines großen Modells vergleichen.