KI von morgen Glossar
DE

← Zurück zum Notizbuch

Vertiefung · Folio V

Ein Modell übersetzen und nur das Nötige behalten?

Die Ausgangsidee: Was, wenn ein Übersetzer das Modell in einer neuen Sprache für einen neuen Harness neu schriebe und nur das Nötige behielte? Sie vermischt drei Dinge von sehr unterschiedlicher Schwierigkeit: übersetzen, ohne etwas zu verlieren; wegschneiden, was nicht gebraucht wird; und das Netz als echten Code neu schreiben. Hier steht, was jedes davon bringen kann, warum das zweite an einem Phänomen namens Superposition scheitert, wie viel ein hybrider Übersetzer sparen würde und was das hier durchgeführte Experiment gezeigt hat.

Vielversprechend aktualisiert am

I

Die Idee, einfach erklärt

Denken Sie an ein tausendseitiges Kochbuch auf Latein. Sie wollen nur Nachspeisen machen. Ein guter Übersetzer könnte drei immer kühnere Dinge tun. Eins: das ganze Buch ins Deutsche übersetzen, ohne etwas zu streichen. Sie lesen schneller, nichts geht verloren. Zwei: nur das Kapitel Nachspeisen übersetzen. Das Buch wird dünn, aber wenn eine Nachspeise sagt „Mürbeteig, siehe Seite 212“, stecken Sie fest. Drei: die Rezepte, die einer Regel folgen, durch eine Formel ersetzen („1 Ei pro 100 g Mehl“) und den Text nur für die Ausnahmen behalten.

Bei einem KI-Modell ist es genauso. Die „Sprache“ ist die Form, in der das Modell geschrieben ist; der Harness ist das Programm, das es laufen lässt (wie llama.cpp auf einem gewöhnlichen Computer); der Übersetzer ist das Werkzeug, das vom einen zum anderen führt und dabei optimiert.

II

Drei Stufen, vom Sicheren bis zum Traum

Die drei Stufen haben in der Schwierigkeit nichts gemeinsam. Die erste gibt es schon überall, die zweite funktioniert halb, die dritte gibt es nur an Spielzeugen.

Belegt

Stufe 1 · Übersetzen, ohne etwas zu verlieren: die Kompilierung

Das tut ein Compiler: dieselbe Rechnung, effizienter ausgeführt. Operationen zusammenlegen, die Gewichte auf weniger Bits runden, die Rechnung an den Chip anpassen. Üblich sind Gewinne um das 1,5- bis 3-Fache, ohne die Antworten zu ändern (oder kaum, bei niedriger Genauigkeit). Manche Chips beschleunigen sogar Nullgewichte, wenn sie einem regelmäßigen Muster folgen: zwei Nullen auf vier, für bis zu doppelt so schnelle Rechnung.

Quelle: Mishra et al., Accelerating Sparse Deep Neural Networks (NVIDIA, 2021)

Belegt

Stufe 2 · Nur das Nötige behalten: das Beschneiden

SparseGPT setzt in einem einzigen Durchgang die Hälfte der Gewichte der größten offenen Modelle auf null, mit kaum sichtbarem Qualitätsverlust. Wanda schafft das ebenso gut mit einer noch einfacheren Regel: Ein Gewicht zählt, wenn es groß ist und starke Signale empfängt. Diese Methoden zielen auf ein allgemeines Modell. Für eine enge Aufgabe hofft man, viel mehr wegzuschneiden. Dort beginnt die Schwierigkeit.

Quelle: Frantar & Alistarh, SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot (ICML 2023), Sun et al., A Simple and Effective Pruning Approach for Large Language Models (Wanda, ICLR 2024)

Spekulativ

Stufe 3 · Das Netz als echten Code neu schreiben: die Dekompilierung

Die Gegenrichtung funktioniert schon: Tracr von DeepMind kompiliert ein kleines Programm in Transformer-Gewichte. Und man kann kleine Transformer so trainieren, dass sie sich in lesbare Python-Programme zurückverwandeln lassen. Aber ein Modell mit 8 Milliarden Parametern lesen und Code daraus gewinnen, das schafft niemand. Der Grund hat einen Namen.

Quelle: Lindner et al., Tracr: Compiled Transformers as a Laboratory for Interpretability (NeurIPS 2023), Friedman et al., Learning Transformer Programs (NeurIPS 2023)

III

Das Hindernis: die Superposition

Wir stellen uns ein Netz wie eine Kommode vor: eine Schublade für Chemie, eine für Grammatik, eine für Addition. Man müsste nur die richtigen Schubladen behalten. So funktioniert es nicht.

Ein Netz hat weniger Neuronen als darzustellende Begriffe. Es überlagert sie: Jedes Neuron wirkt an Dutzenden Begriffen zugleich mit, jeder Begriff ist auf Dutzende Neuronen verteilt, wie gemischte Stimmen in einem Chor. Elhage und Koautoren bei Anthropic haben es an Spielzeugmodellen gezeigt: Sobald Begriffe selten sind, speichert das Netz weit mehr davon, als es Dimensionen hat.

Die direkte Folge für unseren Übersetzer: Ein für die Zielaufgabe „nutzloses“ Gewicht kann ein Stück einer anderen Fähigkeit tragen, von der die Aufgabe unsichtbar abhängt. Und man weiß nie im Voraus, welche Frage der Nutzer morgen stellt. Nach Aufgabe zu schneiden ist daher eine Wette: Man gewinnt viel, wenn die Fragen in der vorgesehenen Spur bleiben, und verliert, wenn sie sie verlassen.

Quelle: Elhage et al., Toy Models of Superposition (Anthropic, 2022)

IV

Die realistische Lösung: ein hybrider Übersetzer

Statt zwischen allem behalten und allem wegschneiden zu wählen, würde der Übersetzer drei Haufen bilden. Was einer Regel folgt (Rechnen, Datumsangaben, Formate, Umrechnungen), wird Code: exakt, fast kostenlos und auch jenseits der gesehenen Beispiele gültig. Was unscharf ist (Sprache, Nuancen, gesunder Menschenverstand), bleibt Netz, in einem für die Aufgabe beschnittenen Spezialisten. Was die Spur verlässt, geht zurück an das volle Modell: der Notausgang.

Hier treffen sich zwei Ideen des Notizbuchs: H3, „Regeln + Ausnahmen = Verdichtung“, wo sich prüfen lässt, und die Kaskade, bei der ein kleines Modell abgibt, wenn es zweifelt. Der Übersetzer ist kein neuer Ansatz: Er ist das Werkzeug, das sie zusammenfügt.

V

Die Rechnung: Wann lohnt sich der Übersetzer?

Nehmen wir drei Zahlen. p, den Anteil der Fragen, die wir an Code schicken können: sagen wir 20 %. s, die Kosten des beschnittenen Spezialisten, als Bruchteil des vollen Modells. f, die Rückrufrate: den Anteil der Fragen, bei denen der Spezialist zweifelt und das volle Modell zurückruft. Ruft er zurück, bezahlt man beide.

Die mittleren Kosten einer Frage betragen dann (1 − p) × (s + f). Mit einem Spezialisten bei 50 % und 10 % Rückrufen: 0,8 × (0,5 + 0,1) = 0,48, die Kosten werden durch 2,1 geteilt. Nehmen wir Stufe 1 hinzu, eine Kompilierung, die das 1,5-Fache gewinnt: 0,48 ÷ 1,5 = 0,32, also ein Drittel der ursprünglichen Kosten.

Wo liegt die Grenze? Der Gewinn verschwindet, wenn (1 − p) × (s + f) den Wert 1 erreicht. Mit s = 0,5 braucht es f = 1 ÷ 0,8 − 0,5 = 75 % Rückrufe, um alles zu verlieren: Das System ist robust. Aber um durch 2 zu teilen, braucht es f ≤ 0,5 ÷ 0,8 − 0,5 = 12,5 %. Mit einem Spezialisten bei 30 % steigt der Spielraum auf 32,5 %; mit einem Spezialisten bei 70 % wird das Halbieren unmöglich. Merken Sie sich die Lehre der Abbildung: Am meisten zählt nicht die Größe des Spezialisten, sondern dass er erkennt, was er nicht weiß.

Abb. P — Was ein hybrider Übersetzer kostet

Spezialist bei 30 % der Kosten: ÷ 2, solange die Rückrufe unter 32,5 % bleibenSpezialist bei 50 % der Kosten: ÷ 2, solange die Rückrufe unter 12,5 % bleibenSpezialist bei 70 % der Kosten: nie durch 2 geteilt

Schematische Darstellung: Sie zeigt die Idee, keine Messwerte.

Eine Rechnung, keine Messung. 20 % der Fragen gehen an Code, der fast nichts kostet. Die übrigen 80 % gehen an einen beschnittenen Spezialisten; zweifelt er, ruft er das volle Modell zurück, und man bezahlt beide. Kosten = 0,8 × (Kosten des Spezialisten + Rückrufrate). Der Spezialist muss nicht perfekt sein: Vor allem muss er wissen, wann er etwas nicht weiß.
VI

H10, schon in Glieder zerlegt geboren

Wie auf der Seite „Die Hypothesen auf dem Prüfstand“ versprochen, kommt jede neue Hypothese in Glieder zerlegt. Hier ist H10: Ein Übersetzer kann ein Modell für einen neuen Harness neu schreiben und auf eine Aufgabe zuschneiden und dabei die Kosten mindestens halbieren, ohne sichtbaren Verlust bei dieser Aufgabe.

Glied a, 95 %: Verlustfreie Übersetzung und Kompilierung funktionieren; das ist heute der Fall. Glied b, 65 %: Gegeben das, halbiert das Schneiden nach Aufgabe, mit einem Notausgang, die Kosten mindestens, ohne sichtbaren Verlust. Dieses Glied hängt von der Superposition und der Rückrufrate ab. Rechnung: 0,95 × 0,65 = 62 %.

Die ehrgeizige Form fügt ein Glied c, 20 % hinzu: Ein großer Teil eines großen Modells lässt sich als echter Code neu schreiben. Sie wäre nur 0,95 × 0,65 × 0,2 ≈ 12 % wert. Wir behalten sie als Frage, nicht als Hypothese.

VII

Das Experiment, hier durchgeführt, und unsere Vorhersagen

Wir haben keine Grafikkarte, nur zwei Prozessorkerne. Also haben wir das Experiment im Kleinen gemacht, aber echt: ein kleiner Transformer mit 0,8 Millionen Parametern, hier auf zwei gemischten Aufgaben trainiert. A, eine Regel: zweistellige Additionen, 20 % davon für den Test zurückgehalten. B, ein Wortschatz mit Ausnahmen: die Pluralformen von 600 erfundenen Wörtern, 80 % regelmäßig (+ s), 20 % unregelmäßig und auswendig zu lernen, dazu 150 neue, nie gesehene Wörter.

Dann die drei Stufen. Stufe 1: Ein separat geschriebener Harness in NumPy lädt die Gewichte neu, in 32 und dann in 8 Bit. Stufe 2: Wanda-Beschneiden, nur auf Aufgabe A kalibriert, von 25 bis 90 % der Gewichte, danach das Entfernen ganzer Neuronen. Stufe 3: Wir suchen aus dem Verhalten des Modells das einfache Programm, das jede Aufgabe nachbildet; was das Programm nicht erklärt, wird zu einer Ausnahmetabelle.

Unsere Vorhersagen wurden vor dem ersten Lauf im Repository festgehalten, damit man uns widerlegen kann. Die wichtigsten: Der NumPy-Harness liefert mindestens 99,9 % identische Antworten; bei 50 % Beschneiden behält die Addition mindestens 95 % ihrer Genauigkeit; über 70 % leidet der Wortschatz mehr als die Addition; das Programm „a + b“ bildet mindestens 99 % der Antworten des Modells nach; die Regel „+ s“ 80 % ± 5; und bei dreistelligen, nie gesehenen Additionen scheitert das Modell fast immer, während der Code alles richtig macht.

VIII

Die Ergebnisse: sieben von acht Vorhersagen

Das Modell (805 929 Parameter) hat in 20 Minuten auf zwei Kernen gelernt. Zu Beginn: 100 % bei nie gesehenen Additionen, 100 % bei den 600 gelernten Wörtern, aber nur 83,3 % bei den 150 neuen Wörtern, obwohl es genügt hätte, ein „s“ anzuhängen: Das Netz hat die Regel erfasst, aber nicht perfekt. Und 0 % bei dreistelligen Additionen: Es hat die Addition nicht allgemein verstanden, nur die, die es gesehen hat.

Belegt

Stufe 1 · Übersetzen: hält, aber nicht schneller

Der separat geschriebene NumPy-Harness liefert 100 % identische Antworten. In 8 Bit bleiben 99,96 % der Antworten identisch, und die Genauigkeit bewegt sich nicht um ein Zehntel Punkt, bei einer durch 3,7 geteilten Größe (3,2 MB → 0,87 MB). Aber unser einfacher, nicht optimierter Harness ist 7,7-mal langsamer als PyTorch: Übersetzen macht nicht durch Zauberei schnell; der Gewinn kommt aus der Arbeit des Compilers.

Vielversprechend

Stufe 2 · Beschneiden: eine verfehlte Vorhersage, eine klare Lehre

Mit 50 % der Gewichte, nach der Addition entfernt, behält die Addition 93,5 %: Wir hatten mindestens 95 % vorhergesagt, also verfehlt, knapp. Bei 60 % fällt die Addition auf 71,9 % und der Wortschatz auf 45,2 %; bei 70 % 18,2 % gegen 3,0 %: Was für die Addition nutzlos schien, trug den Wortschatz, wie vorhergesagt. Kalibriert man auf den Wortschatz, ist es umgekehrt: Bei 70 % behält er 39,5 %, während die Addition auf 5,5 % fällt. Die Hälfte der nach der Addition ausgewählten MLP-Neuronen zu entfernen, lässt ihr 95,9 % und kostet den Wortschatz 22 Punkte.

Vielversprechend

Stufe 3 · Dekompilieren: die Überraschung

Das Programm „a + b“ bildet 99,99 % der 10 000 Antworten des Modells nach (ein einziger Unterschied). Die Regel „+ s“ bildet 80,17 % nach, und die Ausnahmetabelle umfasst 119 Wörter: 119 der 120 unregelmäßigen, das letzte endet zufällig auf „s“. Das hybride Modell erreicht überall 100 %, auch dort, wo das Netz scheiterte: 100 % bei neuen Wörtern (gegen 83,3 %) und 100 % bei dreistelligen Additionen (gegen 0 %). Für diese beiden Aufgaben ersetzen zwei Zeilen Code und eine Tabelle von 1071 Byte ein Modell von 3,2 MB.

IX

Was das Experiment ändert

Sieben von acht Vorhersagen halten; die verfehlte betraf das Beschneiden, um 1,5 Punkte. Der Zweifel ist umgezogen. Beschneiden allein enttäuscht: Selbst in einem winzigen Modell mit gut getrennten Aufgaben kostet das Entfernen der Hälfte der Gewichte schon einige Punkte, und der Vorteil des Spezialisten zeigt sich erst bei Raten, bei denen auch die Zielaufgabe einbricht. Das ist die Superposition, gemessen.

Umgekehrt überrascht das Herausziehen von Regeln: Der Code ahmt das Netz nicht nur nach, er übertrifft es dort, wo das Netz schlecht verallgemeinerte. Ein Netz lernt eine Regel ungefähr; einmal aufgeschrieben, gilt die Regel überall. Das ist das stärkste Argument für den hybriden Übersetzer.

Muss H10 sich bewegen? Nach unseren eigenen Regeln ändert sich eine Zahl nur, wenn sich ein Glied ändert. Und ein Spielzeugmodell mit 0,8 Millionen Parametern sagt fast nichts über eines mit 8 Milliarden: Wir lassen H10 bei 62 % und notieren, wohin die Hinweise zeigen. Im Glied b wiegt der Weg „schneiden“ weniger und der Weg „in Code verwandeln“ mehr. Der nächste Schritt wäre dasselbe Experiment an einem echten kleinen Sprachmodell, mit gemischten Fragen.

X

Zweite Runde: ein echtes kleines Sprachmodell

Das Spielzeug reichte nicht. Wir haben das Experiment mit SmolLM2-135M wiederholt, einem echten Sprachmodell mit 135 Millionen Parametern, auf einem privaten Computer, der es herunterladen konnte. Drei Bereiche: Python-Code, Prosa (WikiText-2) und 200 zweistellige Additionen nach drei Beispielen. Sieben Vorhersagen, vor dem Start im Repository festgehalten. Die Rechnung dauerte sechs Minuten.

Zu Beginn sagt das Modell Code gut vorher (Perplexität 5,1: Im Mittel schwankt es zwischen fünf Wörtern), Prosa schlechter (20,5), und es löst nur 14 % der Additionen. Der Code dagegen löst 100 %.

Quelle: Frantar & Alistarh, SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot (ICML 2023), Sun et al., A Simple and Effective Pruning Approach for Large Language Models (Wanda, ICLR 2024)

Belegt

In 8 Bit übersetzen: fast verlustfrei, trotzdem eine verfehlte Vorhersage

Die Perplexität bewegt sich um 0,4 % beim Code und um 0,5 % bei der Prosa; die Größe sinkt von 538 auf 220 MB (÷ 2,45, der Wortschatz bleibt in 32 Bit). Aber nur 85,5 % der Antworten auf die Additionen bleiben identisch: Wir hatten mindestens 95 % vorhergesagt. Bei Fragen, bei denen das Modell zögert, genügt eine winzige Rundung, um die Antwort kippen zu lassen.

Vielversprechend

Beschneiden: Den Spezialisten gibt es, aber er ist teuer

Bei 50 % nach dem Code steigt die Perplexität des Codes um 56 % (vorhergesagt: mindestens 20 %), die der Prosa wird mit 2,6 multipliziert; die Addition fällt auf 0 %. Auf einen Bereich zu kalibrieren, schützt diesen Bereich gut: Der Code schneidet nach dem Code beschnitten besser ab (7,9) als nach der Prosa (10,3), die Prosa besser nach der Prosa (44) als nach dem Code (52). Aber unsere Vorhersage „auf Prosa kalibriert, leidet der Code am meisten“ scheitert bei 50 und 60 %: Prosa ist ein so breiter Bereich, dass ein Prosa-Spezialist ein Generalist bleibt.

Vielversprechend

Wissen, wann man nicht weiß: Das Signal gibt es, den Spielraum nicht

Um den auf 50 % beschnittenen Spezialisten beim Code wieder auf 5 % an den Verlust des vollen Modells heranzubringen, muss man das volle Modell für 76,6 % der Textstücke zurückrufen, wenn man sich auf den Zweifel des Spezialisten verlässt, gegen 83,3 % zufällig und 73,4 % mit einem perfekten Kompass. Der Zweifel ist also ein guter Wegweiser, fast so gut wie der perfekte Kompass. Aber man muss trotzdem dreimal von vier zurückrufen: Wir hatten höchstens 60 % vorhergesagt.

XI

Was die zweite Runde ändert

Vier von sieben Vorhersagen halten. Die drei verfehlten erzählen dieselbe Geschichte: Ein kleines Modell hat keine Reserve. Runden lässt es zögern, Beschneiden schadet ihm überall, und selbst ein Spezialist, der weiß, wann er zweifelt, muss fast immer abgeben.

Rechnen wir Abb. P mit den echten Zahlen nach. Ein Spezialist zu 50 % der Kosten, der das volle Modell in 77 % der Fälle zurückruft, kostet 0,8 × (0,5 + 0,77) ≈ 1,01: teurer, als gar nichts zu tun. In dieser Größe bringt der Weg „schneiden“ nichts. Der Weg „in Code verwandeln“ dagegen hält: von 14 % auf 100 % bei der Addition.

Diesmal bewegt sich ein Glied, wie es unsere Regeln verlangen: Glied b fällt von 65 % auf 55 %, und H10 von 62 % auf 0,95 × 0,55 ≈ 52 %. Tiefer senken wir es nicht, denn große Modelle lassen sich viel besser beschneiden als kleine: Das zeigen SparseGPT und Wanda. Die entscheidende Frage lautet also: Ab welcher Größe bringt ein beschnittener Spezialist mehr ein, als er kostet? Das wird die dritte Runde.

XII

Dritte Runde: Und wenn das Modell größer wäre?

Die zweite Runde ließ eine Frage offen: Ist der beschnittene Spezialist zum Scheitern verurteilt oder nur zu klein? Wir haben drei Modelle derselben Familie genommen, SmolLM2 mit 135 Millionen, 360 Millionen und 1,7 Milliarden Parametern, und für alle drei dasselbe Protokoll: Code, Prosa, Additionen, Beschneiden auf 25 und 50 %, Messung des Zweifels. Sieben Vorhersagen, vor dem Start festgehalten. Das Ganze dauerte eine Viertelstunde auf dem Grafikchip eines Mac. Das 135-Millionen-Modell, neu gemessen, liefert fast dieselbe Zahl wie in der Runde davor (77,1 % Rückfragen gegen 76,6 %): Die Messung ist reproduzierbar.

Zu Beginn ändert die Größe bei der Addition alles: 14 %, dann 87,5 %, dann 95 % Erfolg. Code schafft weiterhin 100 %. In 8 Bit bleiben die Antworten in 85,5 %, 98 % und 99 % der Fälle identisch: Je größer das Modell, desto weniger bringt es das Runden ins Schwanken.

Quelle: Frantar & Alistarh, SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot (ICML 2023), Sun et al., A Simple and Effective Pruning Approach for Large Language Models (Wanda, ICLR 2024), Mishra et al., Accelerating Sparse Deep Neural Networks (NVIDIA, 2021)

Belegt

Beschneiden auf 50 %: Große Modelle stecken es besser weg

Auf Code kalibriert, multipliziert das Beschneiden die Perplexität des Codes mit 1,53, dann 1,29, dann 1,22: Der Rückgang mit der Größe ist deutlich, wie vorhergesagt. Das 1,7-Milliarden-Modell behält mit der Hälfte seiner Gewichte sogar 85,5 % Erfolg bei den Additionen, während das kleine auf 0 % fiel.

Vielversprechend

Der Zweifel: Die Rückfragequote sinkt, aber nicht schnell genug

Um beim Code innerhalb von 5 % des vollständigen Modells zu bleiben, muss der auf 50 % beschnittene Spezialist das vollständige Modell für 77,1 %, dann 68,8 %, dann 62,5 % der Auszüge zurückrufen. Zufällig bräuchte es 82,6, 75,1 und 72,5 %: Der Zweifel bleibt bei jeder Größe ein guter Wegweiser. Wir hatten für 1,7 Milliarden höchstens 60 % vorhergesagt: um 2,5 Punkte verfehlt. Die idealen Kosten sinken von 1,02 auf 0,95 und dann 0,90: unter 1, also lohnend, aber knapp.

Vielversprechend

Beschneiden auf 25 %: fast umsonst, bei jeder Größe

Die eigentliche Überraschung kommt von der sanftesten Rate. Bei 25 % bleibt der Spezialist beim Code innerhalb von 5 % des vollständigen Modells, ganz ohne Rückfrage, bei allen drei Größen. Ideale Kosten: 0,8 × (0,75 + 0) = 0,6, also Kosten geteilt durch 1,67. Code verliert nur 2 bis 3 % Perplexität, Prosa 6 bis 8 %: Die Spur der Aufgabe ist geschützt, der Rest etwas weniger.

XIII

Was die dritte Runde ändert

Sechs von sieben Vorhersagen halten; die, die fällt, betraf die Rückfragequote des größten Modells, um 2,5 Punkte. Eine Einschränkung: Unsere Vorhersage „der Zweifel schlägt den Zufall bei jeder Rate“ stellt sich bei 25 % nicht, da dort keine Rückfrage nötig ist.

Verlängern wir den Trend, vorsichtig: Es sind nur drei Punkte. Die Rückfragequote bei 50 % sinkt um etwa 13 Punkte, jedes Mal wenn das Modell um das Zehnfache wächst. Für ein 8-Milliarden-Modell ergäbe das etwa 53 % Rückfragen und ideale Kosten von 0,83. Um auf 12,5 % zu kommen, die Schwelle, die die Kosten halbieren würde, bräuchte es ein Modell in der Größenordnung von 10 Billionen Parametern. Fazit: Bei 50 % wird Beschneiden allein die Kosten innerhalb unserer Toleranz von 5 % nie halbieren.

Der gute Weg zeichnet sich anders ab: sanft beschneiden (25 %, keine Rückfrage, Kosten 0,6), kompilieren (× 1,5: 0,6 ÷ 1,5 = 0,4) und in Code überführen, was einer Regel folgt. Auf dem Papier teilt das die Kosten durch 2,5. Ein großer Vorbehalt: Das einzige Beschneidungsmuster, das heutige Chips wirklich beschleunigen, zwei Nullen von vier, entspricht genau 50 %, der teuren Rate. Beschneiden auf 25 % lohnt sich nur, wenn der Chip es nutzen kann.

Glied b steigt also von 55 % auf 60 %, und H10 von 52 % auf 0,95 × 0,60 = 57 %. Die nächste Frage lautet nicht mehr „ab welcher Größe?“, sondern „auf welchem Chip wird ein Beschneiden auf 25 % tatsächlich schneller?“.

XIV

Vierte Runde: ganze Neuronen herausschneiden, mit der Stoppuhr in der Hand

Die Kosten von 0,6 aus der dritten Runde waren „ideal“: Sie setzten voraus, dass der Chip von auf null gesetzten Gewichten profitiert. Doch verstreute Nullen in einer gleich großen Matrix werden wie jede andere Zahl berechnet. Diesmal haben wir ganze Neuronen aus den MLP-Blöcken jedes Modells entfernt, 12,5 %, 25 % oder 50 % davon: Die Matrizen schrumpfen wirklich, auf jedem Chip. Und wir haben das Ergebnis auf dem Grafikchip eines Mac gestoppt, statt es zu berechnen. Neun Vorhersagen, vor dem Start festgehalten.

Die Kontrolle bestätigt den Ausgangspunkt: Mit 25 % verstreuten Nullen braucht das Modell genau so lange wie das vollständige Modell, auf 0,4 % genau, bei allen drei Größen. Nullen bringen auf diesem Chip nichts.

Quelle: Ma et al., LLM-Pruner: On the Structural Pruning of Large Language Models (NeurIPS 2023), Xia et al., Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning (ICLR 2024)

Belegt

Die gewonnene Zeit folgt fast genau den entfernten Gewichten

Ganze Neuronen zu entfernen, beschleunigt tatsächlich. Beim 1,7-Milliarden-Modell sinkt die Lesezeit auf das 0,91-, 0,84- und dann 0,69-Fache des vollständigen Modells, wenn 12,5, 25 und dann 50 % der MLP-Neuronen entfernt werden. Das Modell behält dann 91, 82 und 65 % seiner Gewichte: Die Zeit folgt fast genau der Größe. Die kleinen Modelle gewinnen etwas weniger, weil ihre MLP-Blöcke im Gesamten weniger wiegen. Die Erzeugung Wort für Wort gewinnt so viel wie das Lesen.

Belegt

Doch der saubere Schnitt richtet mehr Schaden an

Bei 25 % wird die Perplexität des Codes mit 1,16, 1,12 und dann 1,10 multipliziert (gegenüber 1,02 bis 1,03 mit verstreuten Nullen), die der Prosa mit mehr als 2. Das vollständige Modell muss dann für 35, 33 und dann 29 % der Code-Auszüge zurückgerufen werden (zufällig: 46, 44 und 42 %). Rechnet man diese Rückfragen ein, liegen die gemessenen Kosten bei 1,25, 1,20 und dann 1,13: teurer, als gar nichts zu schneiden. Bei 50 % ist es noch schlimmer: etwa 80 % Rückfragen und Kosten nahe 1,5.

Vielversprechend

Bei 12,5 %: der erste echte Zeitgewinn, ganz ohne Rückfrage

Bei sanftem Schnitt bleibt der Spezialist beim Code innerhalb von 5 % des vollständigen Modells, ganz ohne Rückfrage, bei allen drei Größen. Der Gewinn ist bescheiden, aber gemessen: 5 %, 6 % und dann 9 % weniger Zeit (Kosten 0,95, 0,94 und dann 0,91). Das 1,7-Milliarden-Modell löst sogar 98 % der Additionen, gegenüber 95 % beim vollständigen Modell. Die Prosa dagegen verliert schon viel (Perplexität × 1,4 bis 1,5): Der Schnitt ist tatsächlich der Spur des Codes gefolgt. Auf Prosa zu kalibrieren, wäre ein Fehler gewesen: Bei 25 % würde die Perplexität des Codes mit mehr als 2 statt mit 1,1 multipliziert.

XV

Was die vierte Runde ändert

Sieben von neun Vorhersagen halten. Die erste, die fällt, ist die interessanteste: Wir hatten gewettet, dass kein Schnitt echte Zeit spart, sobald die Rückfragen eingerechnet sind. Falsch: Bei 12,5 % ist der Spezialist schneller und braucht keine Rückfrage. Die andere entscheidet sich um ein Tausendstel: Bei 25 % wird die Perplexität des Codes beim größten Modell mit 1,099 multipliziert, und wir hatten mehr als 1,10 vorhergesagt. Eine dritte hält knapp und nicht aus dem vermuteten Grund: Wir dachten, beim kleinen Modell gewinne die Erzeugung weniger als das Lesen; beide gewinnen gleich viel.

Die Lehre passt in eine einfache Regel: Auf diesem Chip entspricht die gewonnene Zeit ungefähr dem Anteil der entfernten Gewichte. Die Kosten zu halbieren, hieße also, die Hälfte des Modells zu entfernen und das vollständige fast nie zurückzurufen. Ohne Nachtraining sind wir weit davon entfernt: Bei 50 % müssen acht von zehn Auszügen zurückgerufen werden.

Die nächste Spur ist bekannt: Nach einem Schnitt repariert ein kurzes Nachtraining einen guten Teil des Schadens. LLM-Pruner schafft das in wenigen Stunden mit einer leichten Methode; Sheared-LLaMA baut so gute kleine Modelle für einen Bruchteil der Kosten eines vollständigen Trainings. Brächte ein solches Nachtraining die Rückfragen bei einem Schnitt von 25 % gegen null, stiege der gemessene Gewinn von 9 % auf etwa 16 %.

Unsere vorab geschriebene Regel lautete: Gemessene Kosten unter 0,9 würden Glied b anheben; ein Treffer von S9 würde es senken. Die besten Kosten liegen bei 0,91, und S9 fällt: Glied b bleibt bei 60 %, H10 bei 57 %. Doch die Kosten sind nicht mehr nur berechnet: Zum ersten Mal sind sie gestoppt.

XVI

Fünfte Runde: schneiden, dann reparieren

In der vierten Runde sparte das Entfernen von 25 % der MLP-Neuronen 10 bis 16 % echte Zeit, doch der Spezialist musste für ein Drittel der Auszüge das vollständige Modell zurückrufen: Der Gewinn verschwand. Diesmal bekommt der Spezialist nach dem Schnitt eine kurze Nachhilfestunde. Das vollständige Modell spielt den Lehrer; das beschnittene Modell, der Schüler, lernt, beim Code dieselben Wahrscheinlichkeiten anzugeben wie er. Das ist Destillation. Der Trainingscode stammt aus anderen Dateien als die Auswertung, damit der Schüler die Antworten nicht auswendig lernen kann.

Zwei Arten der Reparatur wurden erprobt. Die erste trainiert die Gewichte der beschnittenen MLP-Blöcke direkt nach. Die zweite, LoRA, friert diese Gewichte ein und trainiert nur kleine, daneben angefügte Matrizen, wie Haftnotizen am Rand eines Lehrbuchs, und verschmilzt sie danach: So passen das 1,7-Milliarden-Modell und sein Lehrer in die 24 GB eines Mac. Elf Vorhersagen, vor dem Start festgehalten. Das Ganze dauerte etwa anderthalb Stunden.

Quelle: Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015), Hu et al., LoRA: Low-Rank Adaptation of Large Language Models (ICLR 2022), Ma et al., LLM-Pruner: On the Structural Pruning of Large Language Models (NeurIPS 2023)

Belegt

Die Reparatur senkt die Rückfragen stark, ohne sie zu beseitigen

Bei einem Schnitt von 25 % muss vor der Reparatur das vollständige Modell für 35 %, 33 % und 29 % der Code-Auszüge zurückgerufen werden (135M, 360M, 1,7B): Die vierte Runde ist aufs Komma reproduziert. Nach der Reparatur sind es nur noch 6 % bei 135M und 15 % bei 360M, direkt repariert, und 23 % bei 1,7B, mit LoRA repariert. Die gemessenen Kosten, Rückfragen eingerechnet, sinken auf 0,93, 1,03 und 1,06. Das kleine Modell lohnt sich nun: 7 % Zeit gespart. Die beiden anderen kommen nah an 1, ohne darunter zu fallen. Bei einem Schnitt von 50 % reicht die Reparatur nicht: Zwei Drittel Rückfragen bleiben.

Vielversprechend

Gewichte nachzutrainieren repariert besser als LoRA

Beim selben 135-Millionen-Modell und gleicher Schrittzahl lässt die direkte Reparatur 6 % Rückfragen übrig, LoRA 15 %. Die „Haftnotizen“ von LoRA umfassen nur 2,5 Millionen einstellbare Zahlen, gegenüber zig Millionen bei der direkten Reparatur: Sie korrigieren weniger. Das 1,7-Milliarden-Modell bekam nur LoRA, mit halb so vielen Schritten, aus Mangel an Speicher und Zeit: Sein Ergebnis (23 %) ist also eine Untergrenze, keine Obergrenze. Seine Reparatur dauerte 19 Minuten.

Vielversprechend

Überraschung: Auch die Prosa wird besser

Wir hatten vorhergesagt, dass Nachtraining auf Code die Prosa weiter beschädigt. Es ist umgekehrt, bei allen drei Größen: Die Perplexität der Prosa sinkt nach der Reparatur ein wenig (zum Beispiel × 2,59 → × 2,38 bei 135M). Die Erklärung liegt in der Destillation: Der Schüler lernt nicht nur die richtige Antwort beim Code, er lernt die ganze Wahrscheinlichkeitsverteilung des Lehrers, also einen Teil seiner allgemeinen Art, die Fortsetzung eines Textes vorherzusagen.

XVII

Was die fünfte Runde ändert

Sechs von elf Vorhersagen halten: unsere am wenigsten treffsichere Runde. Wir hatten gewettet, dass die Reparatur die Rückfragen unter 10 % drückt und mindestens 10 % echte Zeit spart; sie bleibt auf halbem Weg stehen. Die Richtung stimmt, doch der Effekt ist schwächer, als wir dachten.

Das beste Ergebnis kommt vom kleinsten Modell: Um 25 % beschnitten und dann repariert, kostet es 0,93, weniger als der sanfte Schnitt von 12,5 % ohne Reparatur (0,95). Zum ersten Mal spart ein sauberer Schnitt mit anschließender Reparatur echte Zeit, Rückfragen eingerechnet. Der Gewinn bleibt bescheiden, und die Nachhilfestunde muss einmal bezahlt werden: einige Minuten für ein kleines Modell, etwa zwanzig für das 1,7-Milliarden-Modell.

Die vorab geschriebene Regel lautete: Kosten unter 0,9 würden Glied b anheben; mehr als 20 % Rückfragen nach der Reparatur bei jeder Größe würden es senken. Beides tritt nicht ein: Glied b bleibt bei 60 %, H10 bei 57 %. Die nächste Frage ist klar: Fallen die Rückfragen mit längerer Reparatur oder direktem Nachtraining des 1,7-Milliarden-Modells unter 10 %? Dafür braucht es eine größere Maschine als einen Mac.

XVIII

Sechste Runde: länger reparieren

Als die Reparatur der fünften Runde endete, sanken die Rückfragen noch. Fehlte nur die Zeit? Wir haben denselben Schnitt von 25 % beibehalten und länger repariert, mit Kontrollen unterwegs: nach 300, 600 und 1.200 Schritten beim 360-Millionen-Modell (direktes Nachtraining), nach 150, 300 und 600 Schritten beim 1,7-Milliarden-Modell (LoRA). Die Lernrate bleibt nach einem kurzen Anstieg konstant, damit sich die Kontrollen eines Laufs vergleichen lassen. Sieben Vorhersagen, vor dem Start festgehalten. Das Ganze dauerte zweieinhalb Stunden auf einem Mac.

Quelle: Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015), Hu et al., LoRA: Low-Rank Adaptation of Large Language Models (ICLR 2022)

Belegt

360 Millionen: gar keine Rückfrage mehr nach 1.200 Schritten

Die Rückfragen sinken von 33 % vor der Reparatur auf 10 % nach 300 Schritten, 4 % nach 600 Schritten und dann 0 % nach 1.200 Schritten: Bei jedem der 48 Code-Auszüge bleibt der beschnittene Spezialist innerhalb von 5 % des vollständigen Modells. Seine Perplexität beim Code wird nur noch mit 1,07 multipliziert (gegenüber 1,12 vor der Reparatur), die Prosa wird weiter besser (× 2,44 → × 2,14) und die Additionen steigen etwas (55 → 60 %). Dabei hat der Schüler den Trainingscode kaum mehr als einmal gesehen: Er hatte keine Zeit, ihn auswendig zu lernen.

Vielversprechend

1,7 Milliarden mit LoRA: der Rückgang wird langsamer

Die Rückfragen sinken von 29 % auf 23 %, 21 % und dann 19 % nach 150, 300 und 600 Schritten: Jede Verdopplung der Dauer bringt nur noch etwa 2 Punkte. LoRA korrigiert weniger als direktes Nachtraining, wie in der fünften Runde; seine kleinen Matrizen scheinen an eine Grenze zu stoßen. Die gemessenen Kosten sinken auf 1,05, ohne unter 1 zu fallen. Das 1,7-Milliarden-Modell bräuchte direktes Nachtraining, zu schwer für den Speicher eines Mac.

Spekulativ

Diesmal eine weniger verlässliche Stoppuhr

Ohne Rückfragen hängen die Kosten des Spezialisten nur noch an seiner Geschwindigkeit. Diesmal messen wir 0,97 für das 360-Millionen-Modell. Doch während dieses langen Laufs wurde das vollständige Modell selbst zwischen Anfang und Ende um 10 % schneller (0,68 → 0,61 Sekunden pro Stapel), während dieser Unterschied in den Runden 4 und 5 unter 1 % blieb. Diese beiden Runden gaben demselben beschnittenen Modell eine Geschwindigkeit von 0,87 bis 0,88. Unsere vorab geschriebene Regel nimmt den im Lauf gemessenen Wert: Wir behalten ihn. Die wahren Kosten liegen wohl näher an 0,88: Die nächste Runde stoppt dasselbe Modell erneut.

XIX

Was die sechste Runde ändert

Fünf von sieben Vorhersagen halten. Die beiden, die fallen, betreffen die Kosten des 360-Millionen-Modells (0,97 gemessen, gegenüber unter 0,95 vorhergesagt) und das 1,7-Milliarden-Modell (19 % Rückfragen, gegenüber höchstens 15 %).

Die wichtigste Lehre: Beim 360-Millionen-Modell fehlte nur die Zeit. Ein Schnitt von 25 % mit anschließender einstündiger Reparatur ergibt einen Spezialisten, der beim Code nie mehr das vollständige Modell zurückrufen muss. Die Frage der Rückfragen ist für dieses Modell geklärt; bleibt die Geschwindigkeit des Schnitts, die die Runden 4 und 5 auf 12 bis 13 % gesparte Zeit bezifferten.

Die vorab geschriebene Regel: Gemessene Kosten unter 0,9 würden Glied b anheben; mehr als 20 % Rückfragen bei beiden Größen würden es senken. Weder das eine noch das andere: Glied b bleibt bei 60 %, H10 bei 57 %. Der verbleibende Zweifel betrifft nicht mehr die Rückfragen, sondern die Stoppuhr.

XX

Siebte Runde: ein Lehrer, zwei Schüler

In der fünften Runde hatte die Reparatur durch Destillation auch die Prosa verbessert, obwohl sie nur Code betraf. Unsere Erklärung: Der Schüler lernt nicht nur die richtige Antwort, sondern alle Unsicherheiten des Lehrers. Um sie zu prüfen, eine Idee aus einem Gespräch: zwei identische Schüler nehmen, also dasselbe um 25 % beschnittene Modell zweimal, und sie demselben Lehrer anvertrauen, mit denselben Texten, in derselben Reihenfolge, gleich lange.

Nur eines ändert sich: die Art zu unterrichten. Der Schüler „Nuancen“ lernt die ganze Wahrscheinlichkeitsverteilung des Lehrers: „return zu 70 %, yield zu 20 % …“. Der Schüler „Antworten“ lernt nur das Lieblingswort des Lehrers, als bekäme er nur die Musterlösung. Zwei Größen (135 und 360 Millionen), sechs Vorhersagen, vor dem Start festgehalten, knapp eine Stunde auf einem Mac.

Quelle: Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015)

Belegt

Der Schüler „Nuancen“ wiederholt die fünfte Runde aufs Komma

Er übernimmt genau die Einstellung der fünften Runde und liefert genau dieselben Rückfragen: 6,2 % bei 135M und 14,6 % bei 360M. Die Messung lässt sich von einem Tag auf den anderen wiederholen. Seine Prosa wird besser wie damals (× 2,59 → × 2,38 bei 135M; × 2,44 → × 2,29 bei 360M).

Belegt

Der Schüler „Antworten“ endet schlechter als vor dem Unterricht

Er macht nicht nur weniger Fortschritte: Er fällt zurück. Seine Rückfragen steigen von 35 % auf 73 % (135M) und von 33 % auf 77 % (360M), seine Perplexität beim Code wird mit 1,5 bis 1,6 multipliziert, gegenüber 1,12 bis 1,16 vor dem Unterricht, und auch seine Prosa wird schlechter. Dabei hat er gelernt, was man von ihm wollte: Er trifft das Lieblingswort des Lehrers immer öfter. Doch der Abstand zu den Wahrscheinlichkeiten des Lehrers ist während des Unterrichts gewachsen, statt zu schrumpfen.

Vielversprechend

Warum: Er lernt, sich sicher zu sein

Wenn der Lehrer zwischen zwei Wörtern schwankt, lernt der Schüler „Antworten“, sein ganzes Gewicht auf das erste zu legen. Er wird übermäßig selbstsicher. In einem echten Text wird er jedes Mal schwer bestraft, wenn das zweite Wort das richtige war. Der Schüler „Nuancen“ lernt dagegen zu zögern, wo der Lehrer zögert. Das ist das „verborgene Wissen“, das Hinton und seine Kollegen 2015 beschrieben: Die falschen Antworten, die der Lehrer für plausibel hält, lehren fast so viel wie die richtige.

XXI

Was die siebte Runde ändert

Sechs von sechs Vorhersagen halten: eine Premiere in diesem Notizbuch. Unsere Erklärung aus der fünften Runde besteht die Prüfung, und deutlicher als erwartet. Die Nuancen des Lehrers abzuschreiben, repariert; nur seine Antworten abzuschreiben, richtet Schaden an.

Eine gute Nachricht für die Stoppuhr: Diesmal war sie stabil (das vollständige Modell braucht am Anfang und am Ende dieselbe Zeit, auf 1 % genau). Das um 25 % beschnittene 360-Millionen-Modell läuft mit 0,87 der Zeit des vollständigen Modells, wie in den Runden 4 und 5. Der in der sechsten Runde 1.200 Schritte lang reparierte Spezialist, der keine Rückfrage mehr brauchte, käme also auf etwa 0,87.

Dieser Wert läge unter der Schwelle von 0,9, die Glied b anheben würde. Doch er setzt zwei Runden zusammen, und unsere Regel betrifft eine Messung aus einem einzigen Lauf. Glied b bleibt also bei 60 %, H10 bei 57 %, bis zu einem Bestätigungslauf: die Reparatur über 1.200 Schritte und die stabile Stoppuhr zusammen, mit vorab geschriebener Vorhersage.

XXII

Achte Runde: der Bestätigungslauf

Zusammengenommen deuteten die Runden 6 und 7 auf einen Spezialisten hin, der das vollständige Modell nie zurückruft und mit 0,87 von dessen Zeit läuft. Doch unsere Regel verlangt, dass alles in einem einzigen Lauf gemessen wird. Also haben wir die Reparatur über 1.200 Schritte am um 25 % beschnittenen 360-Millionen-Modell wiederholt und dann abwechselnd gestoppt: vollständiges Modell, Spezialist, vollständiges, Spezialist … insgesamt sieben Messungen. Wird die Maschine unterwegs schneller oder langsamer, trifft das beide Modelle gleich. Fünf Vorhersagen, vor dem Start festgehalten.

Belegt

Wieder keine Rückfrage

Nach 600 Schritten muss das vollständige Modell für 4,2 % der Auszüge zurückgerufen werden, nach 1.200 Schritten für keinen. Die Perplexität des Codes wird nur noch mit 1,065 multipliziert, die Prosa wird weiter besser, und die Additionen steigen wieder auf 60 %. Die Zahlen der sechsten Runde wiederholen sich fast aufs Komma.

Belegt

Eine Stoppuhr endlich unter Kontrolle

Die vier Messungen des vollständigen Modells weichen höchstens um 1,7 % voneinander ab, gegenüber 10 % in der sechsten Runde. Der Spezialist braucht 0,88 der Zeit des vollständigen Modells, und dieses Verhältnis ändert sich von Runde zu Runde kaum (0,882, 0,884, 0,882). Ein Viertel der MLP-Neuronen zu entfernen, spart 12 % echte Zeit.

Belegt

Gemessene Kosten unter 0,9

Ganz ohne Rückfragen sind die gemessenen Kosten genau dieses Verhältnis: 0,88. Zum ersten Mal ist ein beschnittener und dann reparierter Spezialist in einem einzigen Lauf und mit stabiler Stoppuhr schneller als das vollständige Modell, ohne bei irgendeinem Code-Auszug um mehr als 5 % davon abzuweichen.

XXIII

Was die achte Runde ändert

Fünf von fünf Vorhersagen halten. Die vorab geschriebene Regel lautete: Ist die Stoppuhr stabil und liegen die Kosten unter 0,9, steigt Glied b von 60 auf 65 %. So ist es: H10 steigt von 57 auf 0,95 × 0,65 ≈ 62 %.

Was das bedeutet, ohne zu übertreiben: Auf dem Chip eines gewöhnlichen Computers genügt eine Stunde Reparatur, um ein um 25 % beschnittenes Modell in einen Code-Spezialisten zu verwandeln, der 12 % schneller ist, ohne nennenswerten Verlust. Das ist weit von der Halbierung der Kosten entfernt, die H10 ankündigt; der Rest des Weges muss anderswoher kommen (ein stärkerer, besser reparierter Schnitt, Kompilierung, das Überführen in Code von allem, was einer Regel folgt). Doch der Weg „schneiden, dann reparieren“ funktioniert, und er ist nun gemessen.

XXIV

Neunte Runde: ein Lehrer, der seine Unsicherheiten übertreibt

Die siebte Runde hat gezeigt: Die Unsicherheiten des Lehrers zu lernen, repariert; nur seine Antworten zu lernen, richtet Schaden an. Lehrt also ein Lehrer, der seine Unsicherheiten übertreibt, noch besser? Das ist die Idee der „Temperatur“, die Hinton und seine Kollegen 2015 vorschlugen: Lehrer und Schüler glätten ihre Wahrscheinlichkeiten vor dem Unterricht. Bei T = 2 sieht „return 90 %, yield 8 %“ eher wie „return 70 %, yield 20 %“ aus; bei T = 4 noch mehr. Drei identische Schüler je Größe (T = 1, 2 und 4), derselbe Lehrer, dieselben Texte, dieselbe Dauer. Fünf Vorhersagen, vor dem Start festgehalten.

Quelle: Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015)

Belegt

Bei T = 1 zum dritten Mal dieselben Zahlen

Der Schüler bei T = 1 bekommt genau den Unterricht des Schülers „Nuancen“ aus der siebten Runde. Er liefert genau dieselben Rückfragen: 6,2 % bei 135M, 14,6 % bei 360M. Zum dritten Mal kommen diese Zahlen identisch heraus, in den Runden 5, 7 und 9.

Belegt

Je mehr der Lehrer übertreibt, desto weniger lernt der Schüler

Die Rückfragen steigen mit der Temperatur: 6 → 10 → 15 % bei 135M, 15 → 17 → 21 % bei 360M, bei T = 1, 2 und 4. Die Perplexität von Code und Prosa verschlechtert sich leicht in derselben Reihenfolge. Wir hatten gewettet, dass T = 2 mindestens so gut abschneidet wie T = 1: falsch, bei beiden Größen.

Vielversprechend

Warum: weder zu sicher noch zu unsicher

Der Schüler, der eine übertriebene Fassung der Unsicherheiten lernt, wird am Ende zu unsicher, so wie der Schüler „Antworten“ der siebten Runde am Ende zu selbstsicher war. Beide entfernen sich vom Lehrer, in entgegengesetzte Richtungen. Die Temperatur hilft, wenn ein kleiner Schüler von einem großen, sehr selbstsicheren Lehrer lernt, dessen Nuancen fast unsichtbar sind. Hier ist der Schüler eine beschädigte Kopie des Lehrers, und sein Ziel ist, ihm genau zu gleichen: Am besten übernimmt er dessen Wahrscheinlichkeiten unverändert.

XXV

Was die neunte Runde ändert

Drei von fünf Vorhersagen halten: die Wiederholung bei T = 1, die Verschlechterung bei T = 4 und der Zweifel als besserer Wegweiser als der Zufall. Die beiden, die fallen, wetteten auf einen Gewinn bei T = 2.

Die Runden 7 und 9 ergeben zusammen eine einfache Regel für die Reparatur eines Spezialisten: Er soll die Wahrscheinlichkeiten des Lehrers unverändert lernen. Zu stark gehärtet (nur die Antworten) oder zu stark geglättet (eine hohe Temperatur), lehren sie schlechter. Diese Runde betraf die Art der Reparatur, nicht die Kosten: H10 bleibt bei 62 %.

XXVI

Zehnte Runde: der Spezialist auf fremdem Terrain

Der Spezialist der achten Runde war auf Code aus Pythons Standardbibliothek repariert und ausgewertet worden: andere Dateien, aber derselbe Stil und dieselben Autoren. Ist er gut in Python-Code oder nur in Code der Standardbibliothek? Wir haben die achte Runde genau wiederholt und eine zweite Auswertung auf fremdem Code hinzugefügt: 48 Auszüge aus den Quellen von PyTorch und Transformers, die weder beim Schnitt noch bei der Reparatur vorkamen. Fünf Vorhersagen, vor dem Start festgehalten.

Belegt

Auf eigenem Terrain wiederholt sich die achte Runde

Auf der Standardbibliothek kehren die Zahlen der achten Runde unverändert zurück: 0 % Rückfragen nach 1.200 Schritten, ein Geschwindigkeitsverhältnis von 0,88, eine stabile Stoppuhr (1 % Drift). Gemessene Kosten: 0,88.

Belegt

Auf fremdem Code ruft er fast jeden zweiten Auszug zurück

Auf dem Code von PyTorch und Transformers ruft der beschnittene Spezialist vor der Reparatur für 71 % der Auszüge das vollständige Modell zurück, nach 1.200 Schritten noch für 48 %. Die Reparatur hilft etwas (Perplexität × 1,29 → × 1,16), aber weit weniger als auf eigenem Terrain. Gemessene Kosten auf diesem Code: 1,36, teurer, als gar nichts zu schneiden. Was wir „Python-Code-Spezialist“ nannten, ist in Wahrheit ein Spezialist für die Standardbibliothek: Sein Gebiet ist das seiner Reparatur.

Belegt

Und sein Zweifel führt ihn nicht mehr

Auf eigenem Terrain brauchte es, dem Zweifel des Spezialisten zu folgen, stets weniger Rückfragen als der Zufall. Auf fremdem Code stimmt das nicht mehr: 48 % Rückfragen, wenn man dem Zweifel folgt, 48 % zufällig. Der Spezialist erkennt nicht, welche Auszüge er schlecht behandelt, sobald sie sein Gebiet verlassen. Das ist wichtig für den Übersetzer: Sein Alarmsignal taugt nur dort, wo es eingestellt wurde.

XXVII

Was die zehnte Runde ändert

Eine von fünf Vorhersagen hält: die Wiederholung auf der Standardbibliothek. Die vier anderen fallen, und deutlich. Unsere am wenigsten treffsichere Runde, und wohl die nützlichste.

Die vorab geschriebene Regel lautete: Mehr als 20 % Rückfragen auf fremdem Code bringen Glied b von 65 auf 60 % zurück. Es sind 48 %: H10 fällt von 62 auf 57 % zurück. Der in der achten Runde gemessene Gewinn bleibt wahr, aber nur auf dem genauen Terrain der Reparatur, und ein echter Übersetzer müsste wissen, wann er es verlässt: Sein Zweifel weiß es nicht.

XXVIII

Elfte Runde: die Hälfte wegschneiden

Um der Halbierung der Kosten näherzukommen, muss man mehr schneiden. Wir haben 50 % der MLP-Neuronen des 360-Millionen-Modells entfernt und dann achtmal länger repariert als in der fünften Runde, mit Kontrollen nach 600, 1.200 und 2.400 Schritten. Dieselbe abwechselnde Zeitmessung, dieselbe doppelte Auswertung (Standardbibliothek und fremder Code). Fünf Vorhersagen, vor dem Start festgehalten.

Quelle: Xia et al., Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning (ICLR 2024)

Belegt

Der Spezialist ist viel schneller

Halbiert braucht er 0,75 der Zeit des vollständigen Modells, bei stabiler Stoppuhr (0,7 % Drift): ein Viertel der Zeit gespart, wie in der vierten Runde.

Belegt

Doch die Reparatur stößt an eine Grenze

Auf der Standardbibliothek sinken die Rückfragen von 81 % auf 54 %, 50 % und dann 46 % nach 600, 1.200 und 2.400 Schritten. Jede Verdopplung der Dauer bringt nur noch 4 Punkte. Die Perplexität des Codes bleibt mit 1,17 multipliziert, die der Prosa mit fast 5. Gemessene Kosten: 1,21. Auf fremdem Code ist es schlimmer: 73 % Rückfragen, Kosten 1,48.

Spekulativ

Warum: Es wurde zu viel Wissen entfernt

Bei 25 % holte die Reparatur fast alles zurück, was der Schnitt gekostet hatte. Bei 50 % holt sie nur einen Teil zurück, selbst mit zweieinhalb Durchgängen über den Trainingscode. Eine mögliche Erklärung: Die Hälfte der Neuronen reicht nicht mehr, um zu fassen, was das Modell wusste, und Destillation kann keinen Platz schaffen. Arbeiten wie Sheared-LLaMA reparieren mit Milliarden von Tokens, nicht mit ein paar Millionen.

XXIX

Was die elfte Runde ändert

Zwei von fünf Vorhersagen halten: Die Rückfragen sinken bei jeder Kontrolle, und der Spezialist läuft tatsächlich mit 0,75. Die drei anderen fallen: Nach 2.400 Schritten braucht es noch 46 % Rückfragen, und die Kosten bleiben bei 1,21.

Die vorab geschriebene Regel bewegt H10 nicht: Es bleibt bei 57 %. Die Runden 10 und 11 sagen dasselbe auf zwei Arten: Auf einer Maschine wie einem Mac funktioniert Schneiden und Reparieren für einen mäßigen Schnitt auf einem genau umrissenen Terrain. Stärker zu schneiden oder breiter zu zielen, verlangt eine Reparatur ganz anderen Ausmaßes.

XXX

Zwölfte Runde: mit zwei Lehrern lernen, und ein Zöllner

Die zehnte Runde hatte zwei Schwächen gezeigt: Der auf der Standardbibliothek reparierte Spezialist hielt auf fremdem Code schlecht stand, und sein Zweifel erkannte die Auszüge nicht, die er schlecht behandelte. Wir sind beide zugleich angegangen. Zuerst stützten sich Schnitt und Reparatur auf eine Mischung: halb Standardbibliothek, halb Quellen von Transformers. Dann haben wir einen Detektor erprobt, der nicht auf das Zögern des Spezialisten schaut, sondern darauf, „wie der Auszug aussieht“: einen Fingerabdruck seiner inneren Zustände auf bekanntem Code und den Abstand jedes neuen Auszugs zu diesem Fingerabdruck. Sechs Vorhersagen, vor dem Start festgehalten.

Belegt

Eine vielfältige Reparatur hält auch auf nie gesehenem Code

Nach 1.200 Schritten ruft der Spezialist das vollständige Modell für 4 % der Auszüge aus der Standardbibliothek zurück, für 0 % der zurückgehaltenen Transformers-Dateien und für 21 % der PyTorch-Auszüge, die keine Stufe gesehen hatte. In der zehnten Runde, nur auf der Standardbibliothek repariert, rief er auf einem fremden Code aus PyTorch und Transformers für 48 % zurück. Auf den zurückgehaltenen Transformers-Dateien schneidet er sogar etwas besser ab als das vollständige Modell (Perplexität × 0,997).

Belegt

Der Zöllner erkennt fremden Code

Der Detektor unterscheidet PyTorch-Auszüge in 93 % der zufällig gezogenen Paare von bekanntem Code (Fläche unter der ROC-Kurve 0,93). Der Zweifel dagegen versagt auf PyTorch erneut: Ihm zu folgen, braucht mehr Rückfragen als der Zufall (21 % gegen 17 %). Darauf zu schauen, was der Spezialist liest, funktioniert besser, als ihn zu fragen, ob er zögert.

Vielversprechend

Auf einem gemischten Strom sinken die Kosten unter 1

Auf einem Strom von 96 Auszügen, halb Standardbibliothek, halb PyTorch, wie im echten Einsatz, braucht es 9,4 % Rückfragen, wenn man zuerst die Auszüge zurückruft, die der Detektor für fremd hält, gegenüber 11,5 %, wenn man dem Zweifel folgt, 13,8 % zufällig und 7,3 % für ein allwissendes Orakel. Bei einem Geschwindigkeitsverhältnis von 0,88 und stabiler Stoppuhr (1,4 % Drift) sinken die gemessenen Kosten auf 0,97.

XXXI

Was die zwölfte Runde ändert

Sechs von sechs Vorhersagen halten: zum zweiten Mal in diesem Notizbuch. Für beide Schwächen der zehnten Runde gibt es nun ein Mittel: eine vielfältigere Reparatur und einen Detektor, der auf den Auszug statt auf das Zögern schaut.

Unsere vorab geschriebene Regel verlangte mehr, um H10 wieder anzuheben: Kosten unter 0,95 auf dem gemischten Strom. Mit 0,97 fehlt noch ein wenig: Glied b bleibt bei 60 %, H10 bei 57 %. Doch der echte Übersetzer nimmt Gestalt an: ein auf vielfältigem Terrain reparierter Spezialist, ein Zöllner, der das Fremde an das vollständige Modell schickt, und ein bescheidener, aber gemessener Gewinn, selbst wenn der Strom Bekanntes und Unbekanntes mischt.

XXXII

Dreizehnte Runde: zwölf Lehrer, und ein eiliger Zöllner

In der zwölften Runde hatten zwei Code-Familien genügt, um die Rückfragen auf PyTorch von 48 auf 21 % zu senken. Wir haben die Idee weitergetrieben: Reparatur auf zwölf Familien von Python-Code zu gleichen Teilen (Standardbibliothek, Transformers, NumPy, pandas, SymPy, NetworkX, pip, setuptools, Rich, Pydantic, Pygments, Jinja2), PyTorch bleibt die Abschlussprüfung. Und wir haben einen eiligen Zöllner erprobt, der den Auszug nach 8 von 32 Schichten beurteilt, statt auf die letzte zu warten: Hält er ihn für fremd, hört der Spezialist dort auf, und das vollständige Modell übernimmt. Sechs Vorhersagen, vor dem Start festgehalten.

Belegt

Mehr Lehrer helfen bei PyTorch nicht

Nach 1.200 Schritten ruft der Spezialist das vollständige Modell für 0 % der zurückgehaltenen Dateien der elf anderen Familien zurück: Was er gelernt hat, kennt er gut. Doch bei PyTorch ruft er für 23 % zurück, so viel wie mit zwei Familien (21 %), und bei der Standardbibliothek steigt er wieder auf 8 % (4 % in der zwölften Runde). Ein Teil der Erklärung liegt in unserem Aufbau: Zu gleichen Teilen begrenzte die kleinste Familie alle anderen, und der Schüler ging dreimal über einen kleineren Korpus als in der zwölften Runde.

Belegt

Der Zöllner am Ende verliert seinen Spürsinn

Mit zwölf Familien im Fingerabdruck wird der bekannte Code sehr vielfältig, und PyTorch hebt sich weniger deutlich ab: Die Fläche unter der ROC-Kurve fällt von 0,93 auf 0,73. Auf dem gemischten Strom braucht er noch weniger Rückfragen als der Zweifel (11,5 % gegen 15,6 %), doch die Kosten bleiben bei 0,99.

Vielversprechend

Der eilige Zöllner sieht nichts, spart aber Zeit

Nach 8 Schichten unterscheidet der Detektor PyTorch nicht mehr von bekanntem Code (Fläche unter der ROC-Kurve 0,45, wie ein Münzwurf): Folgt man seiner Sortierung, braucht es 24 % Rückfragen. Dennoch sind seine Kosten die besten der Runde, 0,95: 8 Schichten zu lesen, kostet nur 0,2 des vollständigen Modells, und jeder früh zurückgeschickte Auszug erspart dem Spezialisten drei Viertel seiner Lektüre. Der Gewinn kommt vom frühen Anhalten, nicht vom Spürsinn.

XXXIII

Was die dreizehnte Runde ändert

Zwei von sechs Vorhersagen halten: die gute Note bei den gelernten Familien und ein eiliger Zöllner, der billiger ist als der am Ende. Die vier anderen fallen: PyTorch bleibt bei 23 %, die Standardbibliothek steigt wieder, der eilige Zöllner erkennt nichts, und die Kosten des Zöllners am Ende bleiben bei 0,99.

Die vorab geschriebene Regel verlangte, dass die Rückfragen auf PyTorch unter 12 % fallen: H10 bleibt bei 57 %. Die Lehre ist eine doppelte. Mehr Familien ersetzen kein längeres Lernen jeder einzelnen. Und ein Zöllner braucht einen ausreichend scharfen Fingerabdruck: Je weiter das bekannte Terrain, desto mehr verschwimmt das Fremde darin. Der beste Aufbau bleibt vorerst der der zwölften Runde.

XXXIV

Vierzehnte Runde: Wohin mit dem Zöllner?

Der Zöllner am Ende der zwölften Runde hatte einen guten Spürsinn, urteilte aber erst, nachdem der Spezialist alles gelesen hatte. Der aus der dreizehnten Runde, nach 8 Schichten platziert, sparte Zeit, ohne etwas zu sehen. Wir haben den Aufbau der zwölften Runde genau übernommen und sechs Zöllner entlang des Weges aufgestellt: nach 8, 12, 16, 20 und 24 von 32 Schichten sowie am Ende. Um nicht nachträglich den besten auszuwählen, galt die H10-Regel vorab nur für einen einzigen, den nach 16 Schichten. Fünf Vorhersagen, vor dem Start festgehalten.

Belegt

Die zwölfte Runde wiederholt sich aufs Komma

Gleicher Aufbau, gleiche Ergebnisse: Nach 1.200 Schritten 4,2 % Rückfragen bei der Standardbibliothek, 0 % bei den zurückgehaltenen Transformers-Dateien, 20,8 % bei PyTorch, und die Fläche unter der ROC-Kurve des Zöllners am Ende liegt wieder bei 0,93. Die Stoppuhr ist stabil (0,5 % Drift).

Vielversprechend

Der Spürsinn zeigt sich erst ganz am Ende

Die Zöllner dazwischen sehen fast nichts: Fläche unter der ROC-Kurve von 0,63 nach 8 Schichten, 0,62 nach 12, 0,52 nach 16, 0,49 nach 20, 0,69 nach 24, dann 0,93 am Ende. Der Spürsinn wächst nicht allmählich mit der Tiefe: Er taucht erst in der letzten Schicht auf. Eine mögliche Erklärung, die diese Runde nicht prüft: Die letzte Schicht dient dazu, das nächste Wort vorherzusagen, und dort hinterlässt der eigene Wortschatz jeder Bibliothek eine deutliche Spur; die mittleren Schichten beschreiben die Struktur des Codes, die allen gemeinsam ist.

Belegt

Früh anhalten gewinnt, ohne zu sehen

Der Zöllner nach 16 Schichten, der unserer Regel, braucht 21 % Rückfragen und kostet 0,98, mehr als der Zöllner am Ende (0,97). Am billigsten ist weiterhin der nach 8 Schichten, 0,94, obwohl er fast nichts sieht: Wie in der dreizehnten Runde gewinnt er, weil er den Spezialisten bei einem Teil der Auszüge früh anhält, nicht weil er gut sortiert. Diesen Zöllner nachträglich zu wählen, wäre Schummeln; unsere Regel erlaubt es nicht.

XXXV

Was die vierzehnte Runde ändert

Eine von fünf Vorhersagen hält: die Wiederholung der zwölften Runde. Die vier anderen fallen: Nach 16 Schichten hat der Zöllner keinen Spürsinn, nicht mehr als nach 8, und seine Kosten übersteigen die des Zöllners am Ende.

Die vorab geschriebene Regel bewegt H10 nicht: Es bleibt bei 57 %. Wir wissen jetzt, dass man in diesem Modell bis zur letzten Schicht gehen muss, um fremden Code zu erkennen. Um auf beiden Seiten zu gewinnen, bräuchte es einen feineren Zöllner als einen bloßen Abstand auf den verborgenen Zuständen, etwa einen kleinen Klassifikator, der darauf trainiert ist, Fremdes schon in den ersten Schichten zu erkennen.

XXXVI

Was sich widersetzt

Der Maßstab. Ein Modell mit 0,8 Millionen Parametern auf zwei sauberen Aufgaben ist kein Modell mit 8 Milliarden vor echten Fragen. Dort ist die Superposition viel dichter, und die Aufgaben vermischen sich viel stärker.

Aus dem Verhalten zu dekompilieren heißt nicht, das Netz zu lesen. Unsere Stufe 3 errät ein Programm aus den Antworten, sie liest es nicht in den Gewichten. Das klappt für eine Regel, die wir schon benennen können; eine unbekannte Regel zu finden, ist ein anderes Problem, das von AlphaEvolve.

Der Zweifel des Spezialisten. Die ganze Rechnung beruht auf einem Spezialisten, der weiß, wann er etwas nicht weiß. Modelle sind oft zu selbstsicher; eine Weiche, die sich still irrt, kostet mehr, als sie spart.

Die echten Gewinne des Beschneidens. Gewichte auf null zu setzen, beschleunigt nichts, wenn der Chip die Nullen trotzdem berechnet. Man muss ganze Blöcke wegschneiden oder den Mustern folgen, die der Chip nutzen kann, und diese Schnitte richten mehr Schaden an.

Nach oben