Vertiefung · Folio IV
Seit den 1940er-Jahren werden Computer in zwei Teilen gebaut: der Speicher auf der einen Seite, das Rechenwerk auf der anderen und ein Flur dazwischen. Für KI, die bei jedem Wort Milliarden von Gewichten liest, ist dieser Flur zum größten Kostenpunkt geworden.
Prozessoren sind enorm schneller geworden, Speicher viel weniger, und Daten zu bewegen, kostet im Vergleich zum Rechnen immer mehr. Ein Modell mit 70 Milliarden Gewichten liest sie für jedes Wort, das es schreibt, alle neu: Das Rechenwerk wartet, und die Energie geht im Flur verloren.
Die Idee: aufhören, die Gewichte zu bewegen. Sie dorthin legen, wo gerechnet wird, oder den Speicher selbst rechnen lassen.
Drei Familien. Digital nah am Speicher: viele kleine Kerne, jeder mit eigenem Speicher direkt daneben, und kein externer Speicher. Analog im Speicher: Das Gewicht wird als elektrischer Leitwert gespeichert, und das ohmsche Gesetz übernimmt die Multiplikation: Spannung anlegen, Strom ablesen. Photonisch: Licht durchquert ein Gitter optischer Bauteile, das unterwegs ein Matrixprodukt ausführt.
In allen drei Fällen kommt der Gewinn von derselben Stelle, weniger Wege, und die Schwierigkeit auch: Speicher auf einem Chip ist begrenzt, analoge Signale rauschen, und diese Maschinen müssen in eine Welt digitaler Software passen.
Quelle: Horowitz, Computing's Energy Problem (ISSCC 2014)
Abb. J — Der Flur, oder kein Flur
Klassischer Computer
Jedes Gewicht macht die Reise: etwa 1300–2600 pJ, um 64 Bit aus dem Hauptspeicher zu lesen, für etwa 4 pJ Rechnung.
Rechnen im Speicher
Jede Speicherzelle rechnet dort, wo ihr Gewicht liegt: Der Flur verschwindet.
Schematische Darstellung: Sie zeigt die Idee, keine Messwerte.
Vielversprechend
22 Milliarden Transistoren, kein externer Speicher. Bei der Bilderkennung (ResNet-50) gegenüber einer GPU im gleichen 12-nm-Verfahren: 25-mal energieeffizienter, 22-mal geringere Latenz, 5-mal mehr Leistung pro Transistor; noch 5-mal effizienter als eine H100 in 4 nm. Digital, also ohne analoges Rauschen. Seine Grenze: Alles muss in den Speicher des Chips passen.
Spekulativ
35 Millionen Phasenwechsel-Speicherzellen auf 34 Kacheln, in 14 nm. Bei der Spracherkennung eine Genauigkeit nahe am Digitalen und mehr als 14-fache Energieeffizienz, bis zu 12,4 Billionen Operationen pro Sekunde und Watt. Noch ein Forschungschip: keine digitalen Kerne an Bord, manche Schritte laufen extern.
Quelle: Ambrogio et al., An analog-AI chip for speech recognition, Nature (2023)
Spekulativ
Sechs Chips in 3D gestapelt, 50 Milliarden Transistoren und eine Million photonischer Bauteile: 65,5 Billionen Operationen pro Sekunde bei 78 Watt. Zum ersten Mal führte ein Lichtprozessor unveränderte Modelle aus (ResNet, BERT, einen Atari-Spieler), mit einer Genauigkeit nahe an 32-Bit-Elektronik.
Quelle: Ahmed et al., Universal photonic AI acceleration, Nature (2025)
Kapazität: Ein großes Sprachmodell passt nicht in den Speicher eines einzigen NorthPole; man muss es auf viele Chips verteilen, und der Flur kehrt zwischen ihnen zurück. Genauigkeit: Analoges und optisches Rechnen driftet mit Temperatur und Alterung. Ökosystem: Zwanzig Jahre Software wurden für GPUs geschrieben. Deshalb ist dieser Ansatz „spekulativ“: Die Physik funktioniert, die Industrie folgt noch nicht.
Vierter Faktor von H6: die Energie pro bewegtem Bit. Und die deutlichste Illustration der neuen Schlussfolgerung: Die wahren Kosten liegen im Bewegen der Daten. Eine Hierarchie der Daten ist die Software-Version derselben Idee: Häufig Gebrauchtes nah an der Rechnung halten.
Einen solchen Chip können wir nicht bauen, aber die Mauer messen: auf einem gewöhnlichen Computer die Zeit eines kleinen Modells stoppen, wenn seine Gewichte in den Cache des Prozessors passen und wenn nicht. Der Sprung sollte im Kleinen die Barriere zeigen, die diese Chips beseitigen wollen.