Vertiefung · Folio IV
Ihr Gehirn feuert nicht alle Neuronen ab, um ein Wort zu lesen. Klassische Modelle schon: Jeder Parameter arbeitet an jedem Wort. Eine neue Generation weckt nur den Teil, der gebraucht wird.
Ein klassisches („dichtes“) Modell gleicht einer Firma, in der jeder Mitarbeiter jeden Brief liest. Eine Mischung von Experten ersetzt einen großen Block durch viele kleinere Spezialisten und einen Verteiler, der jedes Wort an einige wenige von ihnen gibt.
Die Wette: Das Modell kann viel wissen (viele Parameter) und dabei pro Wort wenig rechnen (wenige aktive Parameter). Gesamtgröße und Kosten pro Wort werden zu zwei getrennten Reglern.
In jeder Schicht gibt ein kleines Netz, der Verteiler, jedem Experten eine Note für das aktuelle Wort und behält die besten. Nur diese rechnen. Die Schwierigkeit ist das Gleichgewicht: Wählt der Verteiler immer dieselben, lernen die anderen nie, und ein Teil der Hardware steht still.
DeepSeek-V3 (Dezember 2024) hat pro Schicht 256 spezialisierte Experten plus einen gemeinsamen und aktiviert 8 pro Wort: 37 Milliarden aktive Parameter von 671 Milliarden. Die Last gleicht es ohne die übliche Strafe aus, indem es die Note wenig genutzter Experten etwas anhebt und die überlasteter senkt.
Quelle: DeepSeek-AI, DeepSeek-V3 Technical Report (2024)
Abb. F — Zwei Experten von sechzehn
2 / 16 Experten eingeschaltet · 12,5 % der Schicht
Schematische Darstellung: Sie zeigt die Idee, keine Messwerte.
Belegt
671 Milliarden Parameter, 5,5 % aktiv pro Wort. Das gesamte Training brauchte 2,788 Millionen GPU-Stunden auf H800-Chips, ein bescheidenes Budget für sein Niveau, und das Modell misst sich in vielen Tests mit den besten geschlossenen Modellen von Ende 2024.
Vielversprechend
Statt zwischen Experten zu wählen, wählt jede Schicht, welche Wörter sie verarbeitet; die übrigen laufen direkt durch. So trainierte Modelle bei Google DeepMind erreichen ein Standardmodell mit bis zu 50 % weniger Operationen pro Durchlauf und erzeugen Text bis zu 50 % schneller.
Vielversprechend
Ein Block von Schichten wird mehrmals angewendet, so wie man einen schwierigen Satz noch einmal liest, und ein Verteiler entscheidet, wie viele Durchgänge jedes Wort bekommt. Von 135 Millionen bis 1,7 Milliarden Parametern schlägt es Standardmodelle bei gleichem Rechenaufwand, mit weniger Parametern (NeurIPS 2025).
Der Speicher schrumpft nicht: Alle 671 Milliarden Parameter müssen weiterhin gespeichert werden, oft verteilt auf viele Chips. Man spart Rechnung, keinen Speicher, und Wörter reisen zwischen Maschinen. Anfragen zu bündeln wird schwerer: Wenn jedes Wort einen anderen Weg nimmt, funktioniert das gleichzeitige Bedienen vieler Nutzer, das Server effizient macht, schlechter; Mixture-of-Depths glänzt vor allem bei einzelnen Anfragen. Ein empfindliches Training: Verteiler können auf wenige Experten zusammenfallen.
Es ist der erste Faktor von H6: der Anteil des Modells, der für jedes Wort arbeitet. Es spiegelt auch unsere Hierarchie. Experten teilen das Wissen waagerecht (nach Fachgebiet), unsere Pyramide teilt es senkrecht (nach Abstraktionsebene). Beides ließe sich verbinden: Experten für die Prinzipien, ein Speicher für die Details.
In ein offenes Experten-Modell hineinschauen und an OrigoTech-Artikeln prüfen, ob sich seine Experten nach Thema (Wirtschaft, KI, Gesundheit) oder nach Form (Satzzeichen, Zahlen, Grammatik) spezialisieren. Ist es vor allem die Form, dann ordnen Experten Wissen nicht wie eine Bibliothek, und unsere senkrechte Hierarchie muss erst noch gebaut werden.