Ein kleines Modell, das von selbst besser wird, auf einem gewöhnlichen Computer?
Auf der vorigen Seite diente ein Riese dem kleinen Modell als Lehrer. Hier nehmen wir ihn weg. Übrig bleiben ein Modell mit 8 MilliardenParametern, ein Gaming-Computer und freie Nächte. Unsere Antwort passt in einen Satz: Der Lehrer muss nicht klüger sein als der Schüler, es reicht, wenn er richtig von falsch unterscheiden kann. Hier sind die Überlegungen, die Rechnungen und die Decke, die sich nicht so leicht durchbrechen lässt.
Vielversprechendaktualisiert am
I
Die Idee, einfach erklärt
Denken Sie an einen Schüler, allein mit einem Übungsheft und dem Lösungsheft. Niemand erklärt ihm etwas. Er probiert, vergleicht mit den Lösungen, merkt sich, was funktioniert hat, und fängt von vorn an. Nach ein paar Wochen löst er beim ersten Versuch Aufgaben, die er vorher nur einmal von fünf schaffte.
Ein Sprachmodell kann genau dasselbe tun. Es versucht dieselbe Aufgabe mehrmals, ein Richter sortiert die richtigen Versuche aus, und das Modell trainiert auf seinen eigenen Erfolgen. Das ist Selbsttraining. Die Methode STaR hat es schon 2022 gezeigt, und ReST-EM bei Google schnitt besser ab, wenn es aus seinen eigenen aussortierten Versuchen lernte, als aus von Menschen geschriebenen Lösungen.
Der entscheidende Punkt: Der Richter ist kein großes Modell. Er ist das Lösungsheft, ein Test, eine Spielregel. Prüfen ist viel leichter als Finden. Zu prüfen, ob eine Summe stimmt, geht sofort; den Beweis eines Satzes zu finden, kann Jahre dauern. Diese Asymmetrie erlaubt einem „dummen“ Lehrer, einen Schüler zu unterrichten, der klüger ist als er selbst.
Warum es funktionieren kann: der verborgene Spielraum
Ein Modell hat zwei Noten. Die erste ist sein Erfolg beim ersten Versuch. Die zweite ist sein Erfolg über viele Versuche: die Chance, dass mindestens einer seiner Versuche richtig ist. Forscher schreiben pass@1 und pass@k. Der Abstand zwischen beiden kann riesig sein: Bei Brown und Koautoren steigt der Anteil gelöster Aufgaben mit jeder Verdopplung der Versuchszahl gleichmäßig an.
Dieser Abstand ist verborgenes Können: Das Modell „weiß“, wie man die Antwort findet, aber nicht zuverlässig. Selbsttraining verwandelt verborgenes Können in zuverlässiges Können. Es schafft fast nichts Neues; es macht sicher, was vorher Glückssache war.
Das ist auch seine Grenze, und wir kommen darauf zurück: Yue und Koautoren beobachten, dass Verstärkungslernen pass@1 anhebt, dass das Ausgangsmodell bei vielen Versuchen aber ebenso viele Aufgaben löst, oder sogar mehr. Merken Sie sich das Bild: Training füllt das Glas, es macht es nicht größer. Gute Nachricht für ein altes Modell wie Llama 3 8B: Weniger zuverlässig als ein neues Modell, hat es oft ein leereres Glas, also mehr Spielraum zum Auffüllen.
Alles hängt am Richter. Hier sind die Richter, die ein gewöhnlicher Computer allein laufen lassen kann, vom sichersten bis zum zerbrechlichsten.
Belegt
Das Lösungsheft: Aufgaben mit bekannter Antwort
Es gibt Tausende Mathematikaufgaben mit ihrer Endantwort. Der Richter vergleicht einfach zwei Zahlen. Das ist der Richter von ReST-EM beim Test MATH: erzeugen, die richtigen Versuche behalten, neu trainieren, wiederholen. Einfach und solide, aber der Vorrat an Aufgaben ist endlich.
Bei Code ist der Richter der Computer selbst: Man startet das Programm und sieht nach, ob es die Tests besteht. Absolute Zero geht weiter: Das Modell erfindet seine eigenen Programmieraufgaben, ein Python-Interpreter prüft sie, und es lernt ganz ohne äußere Daten. Seine Autoren berichten von besseren Ergebnissen als bei Modellen, die mit Zehntausenden von Menschen ausgewählten Beispielen trainiert wurden.
Die Spielregel: eine Aufgabe, die sich selbst prüft
Das Spiel Countdown: eine Zielzahl mit ein paar Zahlen und den vier Grundrechenarten erreichen. Eine Lösung zu prüfen, kostet eine Zeile Rechnung. TinyZero in Berkeley hat dieses Spiel einem Modell mit 3 Milliarden Parametern durch Verstärkungslernen beigebracht, und das Modell entwickelte von selbst die Gewohnheit, seine Rechnungen zu prüfen und anders zu suchen, wenn es sich irrt. Alles für weniger als 30 Dollar Rechenzeit.
Auf Ihrem Computer sind Sie ein kostenloser Richter. Der vorgeschlagene Code ist abgestürzt? Die Antwort wurde von Hand korrigiert? Jede Korrektur ist ein beschriftetes Beispiel. Das ist unsere eigene Idee, hier nicht getestet: ein lokales Modell, das nachts aus den Korrekturen des Tages lernt. Das Risiko: Ein menschlicher Richter ermüdet und irrt sich.
Vielversprechend
Die Abstimmung: der Mehrheit der eigenen Antworten vertrauen
Ohne Lösungsheft kann man 64-mal antworten und die häufigste Antwort als „Wahrheit“ nehmen. TTRL tut genau das bei Aufgaben ohne bekannte Antwort und meldet einen Anstieg von etwa 211 % beim Wettbewerb AIME 2024 für ein Modell mit 7 Milliarden Parametern. Von Natur aus zerbrechlich: Wenn die Mehrheit irrt, lernt das Modell seinen Fehler.
Zwei Ergebnisse zeigen, was man erwarten kann, eines älter und solide, das andere neu und spektakulär.
Belegt
STaR: aus den eigenen Begründungen lernen (2022)
Das Modell schreibt eine Begründung; behalten werden die, die zur richtigen Antwort führen. Scheitert es, wird ihm die Antwort vorgesagt, und es schreibt eine Begründung neu, die dorthin führt: die „Rationalisierung“. Bei CommonsenseQA hält das Ergebnis mit einem 30-mal größeren Modell mit, das auf klassische Weise trainiert wurde.
Mit einer einzigen Aufgabe und geprüftem Verstärkungslernen steigt ein Modell mit 1,5 Milliarden Parametern beim Test MATH500 von 36,0 % auf 73,6 %. Vorsicht: Ein großer Teil des Sprungs kommt daher, dass das Modell lernt, seine Antwort im richtigen Format zu präsentieren; die Autoren messen 8,6 Punkte über diesen Effekt hinaus. Es ist der Beweis, dass das Können schon da war, verborgen.
Rechnen wir für Llama 3.1 8B, also 8,03 Milliarden Parameter. In 16 Bit gespeichert, wiegen sie 16 GB: zu viel für die meisten Grafikkarten. Zwei Kniffe ändern alles.
Erster Kniff: die Gewichte auf 4 Bit runden, wie bei QLoRA. 8,03 Milliarden × 0,5 Byte = 4,0 GB. QLoRA hat gezeigt, dass man so ein Modell mit 65 Milliarden Parametern auf einer einzigen 48-GB-Karte ohne Qualitätsverlust feinabstimmen kann.
Zweiter Kniff: die Gewichte nicht anfassen, sondern einen Adapter hinzufügen (LoRA). Die 8 Milliarden Gewichte werden eingefroren, und trainiert werden nur kleine Matrizen, die daneben eingepflanzt sind. Mit einem Rang von 16 auf allen Schichten von Llama 3 8B ergibt die Rechnung 41,9 Millionen Parameter, also 0,5 % des Modells und 84 MB. Das Training hält für jeden vier Zahlen zu 4 Byte (den Parameter, seine Korrektur und zwei Mittelwerte des Optimierers): 41,9 M × 16 Byte = 0,67 GB.
Dazu kommt der Arbeitsspeicher. Zum Schreiben hält das Modell 128 KB pro bereits geschriebenem Wort im Speicher; 16 Versuche mit je 1000 Wörtern parallel brauchen 2,1 GB. Rechnen wir noch ein paar Gigabyte für das Training selbst. Summe: 9 bis 10 GB. Das passt auf eine 12-GB-Gamingkarte und bequem auf 16 oder 24 GB.
Ein unerwarteter Bonus: Der Adapter vergisst weniger. Biderman und Koautoren zeigen, dass LoRA bei Code und Mathematik weniger lernt als ein vollständiges Nachtraining, aber besser bewahrt, was das Modell anderswo schon konnte. Für ein Modell, das wochenlang allein trainiert, zählt wenig Vergessen mehr als schnelles Lernen.
Nehmen wir eine Nacht von 8 Stunden und teilen sie in drei Abschnitte: 6 h Versuche, 1 h Lernen, 1 h Kontrolle.
Die Versuche (6 h). Eine Gamingkarte der Oberklasse liest ihren Speicher mit etwa 1000 GB pro Sekunde; eine bescheidenere Karte zwei- bis dreimal langsamer, und die Nacht liefert dann zwei- bis dreimal weniger Versuche. Um ein Wort zu schreiben, liest das Modell seine 4 GB Gewichte erneut: allein käme es auf etwa 250 Wörter pro Sekunde. Laufen 16 Versuche nebeneinander, dient dasselbe Lesen 16 Wörtern. Wir nehmen eine vorsichtige Annahme von 1000 Wörtern pro Sekunde. In 6 h: 6 × 3600 × 1000 = 21,6 Millionen Wörter, also etwa 21 600 Versuche mit je 1000 Wörtern. Genug, um 2500 Aufgaben je 8-mal zu versuchen (20 000 Versuche), mit Reserve.
Das Lernen (1 h). Man behält höchstens zwei richtige Versuche pro Aufgabe, also höchstens 5000 Beispiele mit etwa 500 Wörtern: 2,5 Millionen Wörter. Lernen kostet, großzügig gerechnet, 6 Rechenoperationen pro Parameter und Wort: 6 × 8 Milliarden × 2,5 Millionen = 1,2 × 10¹⁷ Operationen. Bei einer effektiven Leistung von 40 Billionen Operationen pro Sekunde (eine Annahme, weit unter dem Maximum dieser Karten) dauert das 50 Minuten.
Die Kontrolle (1 h). Das Modell legt eine kleine Prüfung ab, die es nie gesehen hat, dazu eine Reihe allgemeiner Fragen, um zu prüfen, dass es besser geworden ist, ohne etwas zu vergessen. Sinkt die allgemeine Note, wird der Adapter der Nacht verworfen. Das ist der Sicherheitsgurt der ganzen Methode.
Der Strom. Ein Gaming-PC unter Volllast zieht etwa 450 W (unsere Annahme). 450 W × 8 h = 3,6 kWh. Zum französischen regulierten Tarif vom Oktober 2026, etwa 0,20 € pro kWh: 0,72 € pro Nacht, etwa 5 € pro Woche.
VII
Die Rechnung: Nacht für Nacht, wie weit?
Bauen wir ein Spielzeugmodell. Nicht alle Aufgaben sind für unser Modell gleich schwer: Sagen wir, ein Viertel wird nie gelöst, 15 % einmal von zehn, 25 % sechsmal von zehn und 35 % neunmal von zehn. Seine Note beim ersten Versuch: 0,15 × 10 % + 0,25 × 60 % + 0,35 × 90 % = 48 %.
Jede Nacht versucht es jede Aufgabe 8-mal. Eine Aufgabe, die einmal von zehn gelöst wird, liefert mit einer Chance von 1 − 0,9⁸ = 57 % mindestens einen richtigen Versuch: etwa jede zweite Nacht ein Beispiel zum Lernen. Eine nie gelöste Aufgabe liefert nichts, niemals.
Nehmen wir an, jedes gelernte Beispiel rückt die Aufgabe um 30 % des verbleibenden Wegs an den Erfolg heran. Die Note steigt von 48 % auf 60 % in zwei Nächten, auf 73 % in einer Woche, und wird dann langsamer. Bei dreimal langsamerem Lernen (10 %) erreicht man in einer Woche nur 61 %. Aber in beiden Fällen nähert sich die Kurve derselben Linie: 75 %, genau dem Anteil der Aufgaben, die das Ausgangsmodell in 64 Versuchen mindestens einmal löste.
Hier ist das Gesetz der Decke, in einem Satz: Selbsttraining bringt die Note beim ersten Versuch an die Note über viele Versuche heran, nicht darüber hinaus. Es ist unsere Übersetzung der Beobachtung von Yue und Koautoren in Zahlen. Das Spielzeugmodell ist in einem Punkt optimistisch: Llama 3.1 8B wurde nachträglich schon auf Aufgaben dieser Art feinabgestimmt, ein Teil seines Spielraums ist also schon verbraucht.
Abb. N — Nacht für Nacht steigt die Note bis an eine Decke
Schnelles Lernen: 73 % nach 7 NächtenLangsames Lernen: 61 % nach 7 Nächten
Schematische Darstellung: Sie zeigt die Idee, keine Messwerte.
Ein Spielzeugmodell, keine Messung. Ein Viertel der Aufgaben wird anfangs nie gelöst, 15 % einmal von zehn, 25 % sechsmal von zehn, 35 % neunmal von zehn: 48 % beim ersten Versuch. Jede Nacht 8 Versuche pro Aufgabe; ist mindestens einer richtig, rückt das Lernen diese Aufgabe näher an den Erfolg (um 30 % oder 10 % des verbleibenden Wegs). Das Tempo hängt vom Lernen ab; die Decke dagegen bewegt sich nicht: Eine nie gelöste Aufgabe liefert nie etwas zum Lernen.VIII
Die Decke anheben, ohne großes Modell
Wenn die Decke das ist, was das Modell in vielen Versuchen findet, gibt es drei Wege, sie anzuheben, und keiner braucht einen Riesen.
Die Antwort vorsagen. Das ist die Rationalisierung von STaR: Für eine nie gelöste Aufgabe gibt man die Endantwort und verlangt eine Begründung, die dorthin führt. Die Aufgabe mit p = 0 liefert endlich ein Signal. Das Risiko: eine Begründung, die auf falschem Weg „richtig landet“. Es braucht also auch einen Richter für die Begründung, nicht nur für die Antwort.
Die Aufgaben abstufen. Eine heute unmögliche Aufgabe wird machbar, wenn man zuerst einfachere Fassungen durchläuft. Das Modell kann diese Stufen selbst erfinden, wie bei Absolute Zero, wo es Aufgaben genau an der Grenze seines Könnens vorschlägt. Das ist die Idee des Lehrplans aus dem Notizbuch, angewandt auf den Schüler allein.
Werkzeuge geben. Ein Taschenrechner, ein Python-Interpreter, eine Suchmaschine über eine lokale Bibliothek. Mit einem Werkzeug werden unerreichbare Aufgaben manchmal machbar, und dieses „manchmal“ reicht, damit die Schleife anläuft.
Daher unsere Hypothese H9: Die Welt kann als Lehrer dienen. Lösungshefte, Tests, Regeln, Werkzeuge und die Dauer einer Nacht.
Und wenn tausend Freiwillige nachts ihren PC zur Verfügung stellten? Die Rechnung überrascht. Tausend Maschinen × 21 600 Versuche = 21,6 Millionen Versuche pro Nacht. Bei unseren 2500 Aufgaben sind das mehr als 8000 Versuche pro Aufgabe und Nacht. Rechenleistung ist nicht mehr das Problem: Der Engpass wird der Vorrat an prüfbaren Aufgaben.
Was soll man austauschen? Zwei Möglichkeiten. Man kann die Adapter austauschen (je 84 MB) und zusammenführen. Man weiß, wie man ein Modell gemeinsam über das Internet trainiert: DiLoCo erreicht ein klassisches Training bei 500-mal weniger Kommunikation, und INTELLECT-1, ein Modell mit 10 Milliarden Parametern, wurde auf drei Kontinenten von rund dreißig Rechenanbietern trainiert. Aber man muss den empfangenen Gewichten vertrauen, und man kann sie nicht nachlesen.
Wir ziehen die zweite vor: geprüfte Beispiele austauschen. Eine richtige Lösung wiegt etwa 2 KB; die 5000 Beispiele einer Nacht 10 MB. Vor allem kann jeder den Richter erneut laufen lassen, in Sekundenbruchteilen, für jedes empfangene Beispiel. Ein Betrüger, der falsche Beispiele schickt, fliegt sofort auf. Man tauscht Beweise aus, keine Gewichte. Das ist unser Vorschlag, kein veröffentlichtes Ergebnis.
Die Decke. Wir haben sie berechnet: Ohne neue Aufgaben, ohne vorgesagte Antworten und ohne Werkzeuge bleibt die Note bei dem stehen, was das Modell schon in vielen Versuchen fand.
Der Kollaps. Ein Modell, das nur aus seinen eigenen Texten lernt, kann verarmen, Generation für Generation: Shumailov und Koautoren haben es gezeigt. Der äußere Richter begrenzt dieses Risiko, weil er nach Richtigkeit filtert und nicht nach Stil, aber er beseitigt es nicht: Die behaltenen Lösungen ähneln sich immer mehr. Es hilft, die ursprünglichen Daten in der Mischung zu behalten.
Den Richter austricksen. Ein Modell lernt, was belohnt wird, nicht was gemeint war. Sind die Tests schwach, lernt es, sie zu umgehen. Ein nachlässiger Richter erzieht einen schummelnden Schüler.
Die Abstimmung, die sich aufschaukelt. Ist der Richter die Mehrheit der eigenen Antworten, wird ein häufiger Fehler zu einer „Wahrheit“, die verstärkt wird. Über eine Nacht ist das ein Risiko; über Monate ohne äußeren Anker ist es unsere größte Sorge.
Aufgaben ohne Richter. Einen Brief schreiben, einen Rat geben: Kein Programm sagt, welcher Versuch der beste ist. Hier ersetzt der gewöhnliche Computer keinen Lehrer, ob Mensch oder Modell.
Eine Woche Nächte reicht für einen klaren Gewinn · 65 %
Llama 3.1 8B, 7 Nächte lang auf seinen eigenen, per Lösungsheft aussortierten Versuchen trainiert, gewinnt beim Test MATH-500 mindestens 5 Punkte Erfolg beim ersten Versuch, auf einer einzigen Gamingkarte. Diese Wette fiele, wenn der Gewinn unter 2 Punkten bliebe.
Spekulativ
Die Decke hält · 70 %
Sein Erfolg über 64 Versuche bewegt sich um weniger als 3 Punkte. Was die Schleife hinzufügt, ist Zuverlässigkeit, nicht Reichweite. Fällt diese Wette, ist das eine hervorragende Nachricht: Der Schüler allein würde wirklich Neues entdecken.
Spekulativ
Gemeinsam ist der Engpass die Aufgabe, nicht die Rechenleistung · 70 %
Ein Netz von Freiwilligen, das geprüfte Beispiele austauscht, wird schneller besser als jeder allein, aber es erschöpft rasch die verfügbaren Aufgaben. Der Wert verschiebt sich von der Rechenleistung zu den Richtern und den Aufgaben.
Spekulativ
Ganz ohne äußeren Anker driftet es ab · 60 %
Ein Modell, das nur aus der Abstimmung über seine eigenen Antworten lernt, wird zunächst besser, verstärkt dann über Monate seine häufigen Fehler und verliert an Vielfalt. Es braucht immer ein Stück Welt, das richtig oder falsch sagt.
XII
Das Experiment, das zu machen ist, und unsere Vorhersagen
Man nehme Llama 3.1 8B, oder Llama 3 8B, um die Probe zu verschärfen, eine 24-GB-Karte und einen Adapter vom Rang 16. Man ziehe 2500 Aufgaben aus dem Trainingssatz von MATH, mit ihren Antworten. Jede Nacht: 8 Versuche pro Aufgabe, höchstens zwei richtige Versuche behalten, lernen, dann kontrollieren. Sieben Nächte.
Vorher und nachher messen: den Erfolg beim ersten Versuch und über 64 Versuche bei MATH-500, sowie eine Reihe allgemeiner Fragen (MMLU) für das Vergessen.
Unsere Vorhersagen, vor jedem Experiment niedergeschrieben, damit man uns widerlegen kann. Beim ersten Versuch: +5 bis +12 Punkte. Über 64 Versuche: weniger als 3 Punkte besser. Allgemeine Fragen: weniger als ein Punkt Verlust. Kosten: etwa 5 € Strom. Bleibt der Gewinn beim ersten Versuch unter 2 Punkten, senken wir H9. Übersteigt er 15 Punkte, oder springt die Note über 64 Versuche nach oben, ist unser Gesetz der Decke falsch, und wir überarbeiten das Notizbuch gern.