Ein kleines Modell auf Augenhöhe mit einem Riesen?
Llama 3 8B hat 8 MilliardenParameter. Die größten offenen Modelle haben eine Billion oder mehr. Lässt sich dieser Abstand schließen, ohne einen neuen Riesen zu bauen? Unsere Antwort passt in einen Satz: Ein kleines Modell muss nicht groß sein, es muss Zugang zu dem haben, was das große in seinen Gewichten speichert. Hier sind die Überlegungen, die Rechnungen und die Grenzen.
Vielversprechendaktualisiert am
I
Die Frage, ehrlich gestellt
Llama 3 8B erschien im April 2024. Es wurde mit mehr als 15 Billionen Tokens trainiert, hat aber nur 8 Milliarden Parameter. Ihm gegenüber hat Kimi K2 eine Billion, und die führenden geschlossenen Modelle sind wahrscheinlich noch größer, auch wenn es keine offizielle Zahl gibt. Der Größenunterschied reicht also vom 125-Fachen bis zum Mehrhundertfachen.
„Genauso gut“ muss genauer gefasst werden, sonst hat die Frage keine Antwort. Genauso gut worin, und zu welchen Kosten? Ein kleines Modell, das einem Riesen gleichkommt, aber zehnmal mehr ausgibt, hat nichts gewonnen. Wir suchen also ein kleines Modell, das genauso viele richtige Antworten zu vergleichbaren oder geringeren Kosten liefert, und sagen, für welche Arten von Aufgaben das möglich scheint.
Wenn ein großes Modell besser abschneidet, ist das nicht ein einziger Vorsprung, sondern vier. Sie schließen sich nicht auf dieselbe Weise, und genau das ist der Schlüssel zum Problem.
1. Wissen, also die gespeicherten Fakten. Das Notizbuch hat es von Anfang an gesehen: Ein Modell speichert etwa 2 Bit Wissen pro Parameter. Rechnen wir: 8 Milliarden × 2 Bit = 16 Milliarden Bit, also etwa 2 GB Wissen für Llama 3 8B. Für ein Modell mit einer Billion Parametern: etwa 250 GB. Ein Verhältnis von 125.
2. Reichweite: Findet das Modell wenigstens ab und zu die richtige Antwort? Nennen wir p seine Wahrscheinlichkeit, beim ersten Versuch richtig zu liegen. Ist p null, liegt das Problem außerhalb seiner Reichweite. 3. Zuverlässigkeit: p ist nicht null, aber klein. Das Modell kann es, irrt sich nur oft.
4. Breite: von allem ein wenig wissen, entfernte Gebiete verbinden, eine Nuance erfassen, eine offene Frage ohne einzige „richtige Antwort“ beurteilen.
Unsere zentrale Idee: Jeder Teil hat sein eigenes Gegenmittel. Wissen kommt in einen externen Speicher. Reichweite lernt man von einem Lehrer oder leiht sie sich von einem Werkzeug. Zuverlässigkeit kauft man durch mehrere Versuche, sofern es einen Richter gibt. Breite hat kein einfaches Gegenmittel: Dort, glauben wir, kaufen Parameter wirklich etwas.
Die Reichweite schließen: ein Lehrer und Werkzeuge
Ein Modell findet nie eine Antwort, die es auf keinem Weg bilden kann. Zwei Gegenmittel: von einem Lehrer lernen, der es schon weiß (Destillation), oder die Fähigkeit von einem Werkzeug leihen, das sie besitzt (ein Taschenrechner, ein Code-Interpreter). Diese beiden Studien zeigen, dass ein „altes“ Gerüst genügt.
Belegt
Ein altes Gerüst, ein neuer Lehrer: DeepSeek-R1-Distill-Llama-8B
DeepSeek nahm Llama 3.1 8B, aus derselben Familie wie Llama 3, und trainierte es auf Denkwegen, die sein großes Modell R1 geschrieben hatte. Ergebnis: 50,4 % beim Mathematikwettbewerb AIME 2024, gegenüber 9,3 % für GPT-4o; 89,1 % bei MATH-500, gegenüber 74,6 %; und in den Naturwissenschaften (GPQA Diamond) 49,0 % gegenüber 49,9 %, fast gleichauf. Zum Vergleich: Meta gibt für sein eigenes Llama 3.1 8B 51,9 % bei MATH an, einem ähnlichen, aber nicht identischen Test. Die Zahl der Parameter hat sich nicht geändert: Geändert hat sich, was ihnen beigebracht wurde.
Die Fähigkeit leihen: ToRA, mit einem Rechenwerkzeug
ToRA bringt einem Modell bei, zwischen Denken in Worten und kleinen Programmen abzuwechseln, die es ausführen lässt: Rechnungen, symbolische Algebra. Auf Llama 2 (2023) gebaut, erreicht ToRA-7B 44,6 % bei MATH, 22 Punkte mehr als das beste offene Modell der damaligen Zeit, das zehnmal größer war (70 Milliarden). Die Version mit 34 Milliarden schlägt sogar GPT-4, wenn dieses ohne Werkzeug denkt. Das Werkzeug verrechnet sich nicht: Das Modell muss nur wissen, was es fragen soll.
Die Zuverlässigkeit schließen: mehrmals versuchen und auswählen
Wenn p klein, aber nicht null ist, ist das Gegenmittel im Prinzip einfach: mehrmals versuchen und den richtigen Versuch behalten. Alles hängt dann vom Richter ab, der ihn erkennt. Drei Studien messen, wie weit das trägt.
Belegt
Large Language Monkeys: 250 Versuche (2024)
Mit mehr Versuchen steigt der Anteil der Aufgaben, die mindestens ein Versuch löst, gleichmäßig über vier Größenordnungen. Bei SWE-bench Lite, einem Test aus echten Tickets von GitHub-Projekten, steigt ein Modell von 15,9 % mit einem Versuch auf 56 % mit 250, über den besten damaligen Wert mit einem einzigen Versuch (43 %). Wo aber nichts automatisch prüft, stagniert die Auswahl per Abstimmung oder per Bewertungsmodell jenseits einiger Hundert Versuche.
Mit einer gut abgestimmten Versuchsstrategie und einem Modell, das jeden Denkschritt bewertet, erreicht Llama 3.2 1B bei MATH-500 mit 512 Versuchen 72,2 %, gegenüber 71,4 % für Llama 3.1 405B mit einem Versuch. Ein knapper Sieg, und beim schwereren AIME 2024 verliert der Kleine. Unsere Rechnung: 512 Versuche eines Modells mit 1 Milliarde Parametern beanspruchen pro Wort ungefähr so viele Parameter wie ein Versuch des Modells mit 405 Milliarden (512 gegenüber 405), den Richter nicht mitgerechnet. Bei fast gleichem Rechenaufwand zieht der Kleine gleich.
rStar-Math: suchen wie beim Schach (Microsoft, 2025)
Ein kleines Modell erkundet Lösungen Schritt für Schritt, so wie ein Schachprogramm Züge erkundet, geleitet von einem zweiten kleinen Modell, das jeden Schritt beurteilt. Beide verbessern sich gemeinsam in vier Runden an 747 000 Aufgaben. Qwen2.5-Math-7B steigt bei MATH von 58,8 % auf 90,0 %, Phi3-mini (3,8 Milliarden) von 41,4 % auf 86,4 %, über o1-preview. Die Autoren haben kein stärkeres Modell destilliert.
Das Wissen schließen: ein Speicher und Spezialisten
Für Fakten scheint das Gegenmittel klar: sie nicht lernen, sondern nachschlagen. Die Ergebnisse sind differenzierter, als man denkt. Und für Spezialgebiete funktioniert eine andere Idee: viele kleine Spezialisten statt eines einzigen Generalisten.
Belegt
MassiveDS: eine Billion Tokens zum Nachschlagen (2024)
Ein Team der University of Washington hat einen Bestand von 1,4 Billionen Tokens aufgebaut, den das Modell beim Antworten nachschlägt. Bei Faktenfragen (TriviaQA, Natural Questions) schlägt Llama 2 7B mit einem Bestand von unter 100 Milliarden Tokens Llama 2 13B und Llama 3 8B ohne Bestand. Aber bei MMLU und MedQA, die mehr Denken verlangen, erlaubt der Speicher dem Kleinen nicht, den Großen zu überholen. Nachschlagen bringt Fakten, nicht das Denken, das sie verbindet.
Predibase hat 310 kleine Modelle (10 Basismodelle × 31 Aufgaben) mit 4-Bit-LoRA-Adaptern nachtrainiert. Im Schnitt schlagen sie ihr Basismodell um 34 Punkte und GPT-4 um 10 Punkte, jedes bei seiner Aufgabe. Und weil das Basismodell geteilt wird, passen 25 Mistral-7B-Spezialisten auf eine einzige Grafikkarte mit 80 GB. Grenze: Es sind enge, klar umrissene Aufgaben, kein freies Gespräch.
Bauen wir ein einfaches Modell. Ein Versuch des kleinen Modells gelingt mit der Wahrscheinlichkeit p. Mit k unabhängigen Versuchen und einem perfekten Richter ist die Chance, dass mindestens einer richtig ist, 1 − (1 − p)ᵏ. Zum Beispiel mit p = 30 % und 5 Versuchen: 1 − 0,7⁵ = 1 − 0,168 = 83 %.
Wie viele Versuche braucht man, um einem großen Modell gleichzukommen, das beim ersten Versuch in 80 % der Fälle richtig liegt? Es muss 1 − (1 − p)ᵏ ≥ 0,8 gelten, also k ≥ ln(0,2) / ln(1 − p). Für p = 30 %: 5 Versuche. Für 12 %: 13 Versuche. Für 5 %: 32 Versuche. Für 0 %: nie. Das zeigt die Abbildung unten.
Bleiben die Kosten. Ein Versuch des Kleinen kostet einen Bruchteil c eines Versuchs des Großen, grob das Verhältnis der aktiven Parameter pro Wort. Der Kleine lohnt sich, wenn k × c < 1. Kombiniert man beide Formeln, ergibt sich eine Schwelle: Der Kleine gewinnt, sobald p über 1 − 0,2ᶜ liegt. Diese Schwelle hängt stark vom Riesen ab, gegen den er antritt.
Gegen einen dichten Riesen mit 2 Billionen Parametern ist c = 8 / 2000 = 0,004, und die Schwelle fällt auf 0,6 %: Fast alles, was der Kleine kann, und sei es selten, lohnt sich. Gegen einen Riesen mit Expertenmischung und 100 Milliarden aktiven Parametern ist c = 0,08, und die Schwelle steigt auf 12 %. Gegen Kimi K2 mit seinen 32 Milliarden aktiven Parametern ist c = 0,25, und die Schwelle erreicht 33 %.
Zwei Lehren. Erstens: Je sparsamer der Riese, desto schwerer ist er zu schlagen. Riesen mit Expertenmischung, die nur einen kleinen Teil von sich einschalten, verringern den Vorteil des Kleinen. Zweitens: Der Richter ist das Schlüsselstück. Ohne ihn weiß man nicht, welchen der k Versuche man behalten soll. Und eine ehrliche Warnung: Unsere Rechnung setzt unabhängige Versuche und einen kostenlosen Richter voraus. In Wirklichkeit wiederholt ein Modell oft denselben Fehler, und Brown und seine Koautoren beobachten einen langsameren Anstieg als unsere Formel: ungefähr denselben Gewinn bei jeder Verdopplung der Versuche. Man braucht also mehr Versuche, als diese Rechnung angibt.
Liegt in 30 % der Fälle richtig: 5 Versuche reichen12 %: 13 Versuche5 %: 32 Versuche0 %: nie
Schematische Darstellung: Sie zeigt die Idee, keine Messwerte.
Jede Kurve folgt der Formel 1 − (1 − p)ᵏ: der Chance, dass mindestens einer von k Versuchen richtig ist, wenn ein Richter ihn erkennt. Die Punkte zeigen, wo das kleine Modell ein großes einholt, das beim ersten Versuch in 80 % der Fälle richtig liegt. Eine idealisierte Rechnung: In Wirklichkeit ähneln sich die Versuche eines Modells, und man braucht mehr.VII
Der Plan: die Werkstatt des kleinen Modells
Hier ist unser Vorschlag. Er versammelt die Ansätze des Notizbuchs rund um das kleine Modell, wie die Lehrlinge und Werkzeuge rund um den Meister in Leonardos Werkstatt. Sechs Teile.
1. Ein Verteiler erkennt die Art der Frage (Rechnung, Code, Fakt, Text) und wählt die nützlichen Teile. 2. Eine Bibliothek von Spezialisten: LoRA-Adapter, einer pro Fachgebiet, von einem großen Modell gelernt. Unsere Rechnung: Ein Adapter vom Rang 16 über alle Schichten von Llama 3 8B hat etwa 42 Millionen Parameter, 0,5 % des Modells und etwa 84 MB. Tausend Spezialisten wiegen 84 GB, und nur einer springt jeweils an: eine Expertenmischung, aber im Maßstab des Systems.
3. Ein hierarchischer externer Speicher, wie in den Teilen II und III: Die Fakten stecken nicht in den Gewichten, sondern in einem Bestand, der in Bäumen und Graphen geordnet ist. 4. Ein Werkzeugkasten aus Werkzeugen und Programmen: Taschenrechner, Code-Interpreter, Löser und bereits gefundene Programme, wiederverwendet wie Voyagers Fähigkeitenbibliothek.
5. Ein Richter: Tests für Code, eine Nachrechnung für Mathematik, sonst ein Modell, das die Schritte bewertet. Das kleine Modell versucht es mehrmals, der Richter wählt aus. 6. Eine Rückfallebene: Besteht nichts vor dem Richter, steigt die Frage zum großen Modell auf, wie in einer Kaskade. Dessen Antwort dient, einmal geprüft, zum Training des nächsten Spezialisten: Die Spitze der Pyramide lehrt die Basis (Hypothese H7).
Eine letzte Rechnung sagt, ob sich das Ganze lohnt. Jede Frage kostet k × c (die Versuche des Kleinen) plus den Anteil e der Fragen, die zum Großen aufsteigen. Mit 8 Versuchen bei c = 0,08 ergibt das 0,64 + e. Die Werkstatt lohnt sich, solange weniger als 36 % der Fragen aufsteigen. Bei 10 % kostet sie 0,74, etwa ein Viertel weniger als der Riese allein. Und jede aufgestiegene Frage bereichert die Spezialisten, also dürfte e mit der Zeit sinken.
Gute Nachricht: Das Alter der Gewichte zählt weniger als das, was man ihnen danach beibringt. ToRA wurde auf Llama 2 (2023) gebaut, DeepSeek-R1-Distill-Llama-8B auf Llama 3.1 8B, aus derselben Familie wie Llama 3. In beiden Fällen ließ ein zusätzliches Training mit guten Beispielen die Ergebnisse hochschnellen.
Die echten Grenzen von Llama 3 8B liegen woanders. Sein Kontextfenster: 8000 Tokens, etwa 6000 Wörter, ein Dutzend Seiten. Das ist wenig, um Dokumente aus einem Speicher zu lesen; Llama 3.1 hat es auf 128 000 erweitert. Sein Ausgangspunkt in Mathematik: 30 % bei MATH, laut Meta. Je niedriger der Ausgangspunkt, desto kleiner p, und desto mehr Versuche braucht man, oder einen Lehrer.
Unser Rezept für ein altes Modell, der Reihe nach: zuerst ein Adapter, von einem Lehrer gelernt, damit es lange Denkwege gehen und Werkzeuge aufrufen kann; dann Speicher und Werkzeuge, für Fakten und Rechnungen; schließlich mehrere Versuche mit einem Richter, wo es einen gibt. Die Reihenfolge zählt: Mehrere Versuche helfen nur, wenn p schon groß genug ist, und es ist der Lehrer, der es steigen lässt.
Fragen ohne Richter. Schreiben, beraten, eine offene Frage entscheiden: Kein Programm sagt, welcher Versuch der beste ist. Die Auswahl per Abstimmung oder per Bewertungsmodell stagniert nach einigen Hundert Versuchen.
Reichweite null. Ist p null, hilft keine Zahl von Versuchen. Selbst bestärkendes Lernen geht nicht über das hinaus, was das Basismodell in vielen Versuchen findet. Dann braucht es einen Lehrer oder ein Werkzeug, und die gibt es nicht immer.
Breite. Tausend verstreute Fakten verbinden, eine Nuance erfassen, ein langes Dokument im Kopf behalten. Der Speicher hilft bei einem genauen Fakt, viel weniger beim Denken über viele Fakten zugleich: MassiveDS half dem Kleinen bei MMLU nicht, den Großen zu überholen. Dort, glauben wir, kaufen Parameter wirklich etwas.
Zeit. Zweiunddreißig Versuche brauchen Zeit, oder parallele Maschinen. Für ein flüssiges Gespräch ist das eine echte Bremse, selbst wenn die Gesamtkosten niedriger sind.
Bei prüfbaren Aufgaben ist der Abstand vor allem eine Frage der Zuverlässigkeit · 65 %
In Mathematik, bei getestetem Code und formalen Beweisen findet das kleine Modell die richtige Antwort oft manchmal: Sie mit Versuchen und einem Richter zu vervielfachen, schließt den Großteil des Abstands. Diese Wette fiele, wenn man viele Aufgaben fände, die der Riese löst und der Kleine nie, nicht einmal in tausend Versuchen.
Spekulativ
Einzelne Fakten kauft man mit Speicherplatz, nicht mit Parametern · 60 %
Für eine Frage, deren Antwort in einem Dokument steht, ist ein guter externer Speicher Hunderte Milliarden Parameter wert. Für eine Frage, die verlangt, viele Fakten zu verknüpfen, viel weniger.
Spekulativ
Ein gut ausgestattetes altes 8B kommt einem Riesen bei einer festen Liste von Aufgaben gleich · 55 %
Bei einer festgelegten Menge prüfbarer Aufgaben würde ein Llama 3 8B mit Adaptern, Speicher, Werkzeugen und einem Richter das Niveau eines Modells mit einer Billion Parametern erreichen, zu vergleichbaren Kosten. Das ist unsere Hypothese H8.
Spekulativ
Bei offenen Aufgaben bleibt der Abstand · 70 %
Schreiben, beraten, urteilen: Ohne Prüfer nützen viele Versuche fast nichts, und Breite lässt sich nicht in einen Adapter destillieren. Wir glauben, dass die Riesen hier einen klaren Vorsprung behalten.
XI
Das Experiment, das zu machen ist, und unsere Vorhersagen
Llama 3.1 8B nehmen, oder Llama 3 8B, um es schwerer zu machen, und die Werkstatt bauen. Sie bei gleichen Kosten mit einem Spitzenmodell vergleichen, in vier Aufgabenfamilien: Mathematik (MATH-500, AIME), Code mit Tests (LiveCodeBench), Fakten mit Speicher (TriviaQA, Natural Questions) und offene Fragen, von Menschen beurteilt.
Unsere Vorhersagen, vor jedem Experiment aufgeschrieben, damit man uns widerlegen kann. In Mathematik und Code: weniger als 5 Punkte hinter dem Riesen, bei gleichen oder geringeren Kosten. Bei Fakten: weniger als 10 Punkte mit einem guten Speicher. Bei offenen Fragen: ein klarer Rückstand. Liegt der Abstand in Mathematik über 15 Punkten, fällt unsere Wette auf die Zuverlässigkeit, und wir senken H8.