Vertiefung · Folio IV
Jede Zahl in einem Modell wird mit einer gewissen Genauigkeit gespeichert, wie ein Lineal mit Millimeter- oder Zentimeterteilung. Jahrelang nutzten Modelle 16 oder 32 Bit pro Zahl. Es zeigt sich, dass oft 8, 4 oder sogar weniger als 2 genügen.
Die Gewichte eines Modells sind Zahlen. Sie mit weniger Bits zu speichern, ist wie Runden: Man verliert etwas Detail, aber jede Zahl braucht weniger Platz, wird schneller gelesen und mit kleineren Schaltungen multipliziert.
Der eigentliche Gewinn liegt weniger in der Rechnung als in der Bewegung: Wie die Energie-Abbildung auf der Hauptseite zeigt, kostet das Lesen einer Zahl aus dem Speicher hundertfach mehr als das Rechnen damit. Halb so viele Bits halbieren diese Rechnung.
Der Trick heißt Skalierung in Blöcken: Zahlen werden in kleinen Paketen gruppiert, die sich einen gemeinsamen Maßstab teilen, sodass wenige Bits genügen, um jede relativ zu ihren Nachbarn zu beschreiben. Die empfindlichsten Teile (erste und letzte Schichten, Summen) bleiben in höherer Genauigkeit.
Es gibt zwei Wege: nach dem Training komprimieren (schnell, aber die Qualität fällt bei sehr niedriger Genauigkeit), oder direkt in niedriger Genauigkeit trainieren, damit das Modell von Anfang an lernt, mit dem Runden zu leben.
Quelle: Horowitz, Computing's Energy Problem (ISSCC 2014)
Abb. I — Gleiches Modell, weniger Bits
Speicher für 1 Milliarde Gewichte
Mit drei Werten verschwindet die Multiplikation:
+1Zahl addieren0überspringen−1Zahl abziehen
Schematische Darstellung: Sie zeigt die Idee, keine Messwerte.
Belegt
Erste Bestätigung von 8-Bit-Training an einem Riesenmodell: Die meisten Matrixrechnungen von DeepSeek-V3 laufen in FP8, mit feiner Skalierung. Der Trainingsfehler bleibt unter 0,25 % Abstand zur 16-Bit-Referenz. Das ist ein Grund für seine niedrigen Trainingskosten.
Vielversprechend
NVIDIA trainierte ein Modell mit 12 Milliarden Parametern auf 10 Billionen Wörtern in 4 Bit, das längste veröffentlichte Training dieser Art. Bei MMLU-Pro: 62,58 % gegenüber 62,62 % in 8 Bit. Auf neuen Chips rechnet 4 Bit 2- bis 3-mal schneller als 8 Bit mit halbem Speicher. Etwa 16 % der Schichten bleiben in höherer Genauigkeit, und Code ist etwas schwächer.
Quelle: NVIDIA, Pretraining Large Language Models with NVFP4 (2025)
Vielversprechend
Jedes Gewicht ist −1, 0 oder +1. Ab 3 Milliarden Parametern erreicht es ein 16-Bit-Modell, das auf denselben Daten trainiert wurde, ist dabei 2,71-mal schneller und braucht 3,55-mal weniger Speicher; bei 70 Milliarden 4,1-mal schneller. Geschätzte Rechenenergie für Matrixprodukte: 71-mal weniger.
Quelle: Ma et al., The Era of 1-bit LLMs: BitNet b1.58 (2024)
Keine Abkürzung für bestehende Modelle: Ternäre Gewichte müssen von Anfang an gelernt werden; ein bestehendes Modell so stark zu runden, zerstört es. Die Hardware hinkt hinterher: Die Gewinne von BitNet sind nur auf eigens dafür entworfenen Chips voll real. Empfindliche Aufgaben: Code und genaues Rechnen leiden zuerst. Und je mehr Daten ein Modell gesehen hat, desto mehr feine Details tragen seine Gewichte, was weniger Spielraum zum Runden lässt.
Dritter Faktor von H6: die Bits pro Gewicht. Die Parallele zu unserem Notizbuch ist auffällig: Ein ternäres Modell behält nur die Richtung jeder Verbindung (dafür, dagegen, neutral), als gehörten feine Details nicht in die Gewichte. Genau das ist die Teilung, die wir vorschlagen: grobe Prinzipien im Modell, genaue Details in einem externen Speicher.
Ein offenes Modell in 16, 8 und 4 Bit nehmen und allen drei Versionen dieselben Fragen zu OrigoTech-Artikeln stellen. Unsere Vermutung: Fakten (Daten, Zahlen) verschlechtern sich vor dem Denken. Wenn ja, spricht das dafür, Fakten außerhalb der Gewichte zu speichern.