Artikel Die KI von morgen
DE

Lebendes Notizbuch · Codex Nr. 2

Die Chips von morgen

Wie werden die Chips aussehen, die die nächsten KIs trainieren?

Ein KI-Modell ist nur so schnell wie der Chip, der es füttert. Dieses Notizbuch betrachtet die Chips, die KI heute trainieren, die, die gerade gebaut werden, und unsere Hypothesen zu den nächsten Generationen: mehr Leistung, weniger Energie, weniger Wärme. Mit Schaubildern, damit man die Chips von innen sieht.

Version 1 · aktualisiert am

I

Die Chips, die heute KI trainieren

Ein moderner KI-Beschleuniger ist kein einzelner Chip, sondern eine kleine Stadt: Rechenchips, Speicherstapel und Verdrahtung, alles auf einem Gehäuse. Abb. 1 zeigt die Schichten; Abb. 2 vergleicht die wichtigsten Chips bei der Zahl, die am meisten zählt, dem Speicher.

Abb. 1 — Anatomie eines KI-Beschleunigers

123456789
  1. Rechenchips (jeder nahe am Retikellimit)
  2. HBM-Speicherstapel, 8 bis 12 DRAM-Lagen
  3. HBM-Basischip: der Controller am Fuß jedes Stapels
  4. Silizium-Interposer mit vertikalen Verbindungen (TSV)
  5. Gehäusesubstrat, das den Strom führt
  6. Direkte Verbindung zwischen den zwei Rechenchips
  7. Wärmeleitpaste und Metalldeckel
  8. Kühlplatte mit zirkulierender Flüssigkeit
  9. Lötkugeln zur Platine
Ein Schnitt durch das Gehäuse. Rechenchips und Speicherstapel sitzen nebeneinander auf einem Silizium-Interposer; alles wird von oben gekühlt.

Abb. 2 — Speicherbandbreite und -kapazität der wichtigsten Chips

Speicherbandbreite (TB/s)

  1. H1003.35
  2. B2008
  3. B3008
  4. MI355X8
  5. Trainium34.9
  6. TPU Ironwood7.37
  7. Maia 2007
  8. Rubin19.2 → 22
  9. MI455X23.3

Speicherkapazität (GB)

  1. H10080
  2. B200192
  3. B300288
  4. MI355X288
  5. Trainium3144
  6. TPU Ironwood192
  7. Maia 200216
  8. Rubin288
  9. MI455X432

Im EinsatzGeneration 2026Erstes Ziel von Rubin (22 TB/s)

Die Bandbreite sagt, wie schnell Daten beim Rechenwerk ankommen; die Kapazität, wie viele ein Chip fassen kann. Die Generation 2026 verdoppelt bis verdreifacht die Bandbreite grob.
II

Die Chips im Bau

Die Generation 2026–2028 ist bereits entworfen oder in Produktion. Das Muster ist klar: viel mehr Speicherbandbreite, mehr Chips pro Gehäuse und Racks mit Hunderten Kilowatt Leistungsaufnahme.

Abb. 3 — Chips, Speicher und Prozesse, 2024–2029

202420252026202720282029

Nvidia

  • B200
  • B300
  • Rubin
  • Rubin Ultra
  • Feynman

AMD

  • MI355X
  • MI455X

Google

  • Ironwood
  • TPU 8t · 8i

AWS

  • Trainium3
  • Trainium4

Microsoft

  • Maia 200

TSMC

  • N2
  • A16
  • A14
  • A12

HBM

  • HBM3E
  • HBM4
  • HBM4E
  • HBM5
Nov. 2026

Im EinsatzIm HochlaufGeplant

Termine künftiger Produkte sind angekündigt oder berichtet und verschieben sich oft. Als Reihenfolge des Eintreffens lesen, nicht als Zeitplan.

Gesichert

Nvidia Rubin (Vera Rubin NVL72)

Zwei Chips im N3P-Prozess von TSMC, 288 GB HBM4 mit bis zu 19,2 TB/s (22 TB/s war das erste Ziel; die HBM4-Pin-Geschwindigkeit war der Knackpunkt), etwa 50 PFLOPS bei NVFP4-Inferenz, rund 1.800 W. Die erste Serienhardware kam im Herbst 2026.

Quelle (3)

Vielversprechend

Rubin Ultra und Feynman

Rubin Ultra ist für die zweite Jahreshälfte 2027 geplant: vier Chips, 1 TB HBM4E, etwa 100 PFLOPS in FP4, in einem „Kyber“-NVL576-Rack mit 600 kW. Feynman folgt um 2028, mit Silizium-Photonik auf Nvidias Roadmap. Alles davon ist angekündigt, nicht ausgeliefert.

Quelle (2)

Vielversprechend

Google TPU 8: zwei Chips statt einem

Berichtet auf der Google Cloud Next 2026: Der nächste TPU teilt sich in 8t fürs Training und 8i für die Inferenz. Ein erstes Zeichen, dass ein einziges Design nicht bei beiden Aufgaben das beste sein kann.

Quelle (1)
III

Vier Mauern

Schneller werden heißt nicht mehr, Transistoren zu verkleinern. Vier Grenzen entscheiden, was die nächsten Generationen leisten können. Abb. 4 zeigt die erste.

Abb. 4 — Die Schere: Die Rechenleistung zieht dem Speicher davon

×1×10×1000246810Jahre×243×10×5
  • Spitzenrechenleistung
  • Speicherbandbreite

Nach zehn Jahren mit diesen Raten ist die Rechenleistung etwa 24-mal stärker gewachsen als die Speicherbandbreite (×243 gegen ×10).

Wachstum je zwei Jahre, von Gholami und Kollegen über zwei Jahrzehnte gemessen (Rechenleistung ×3,0, Speicherbandbreite ×1,6, Verbindung ×1,4), hier auf zehn Jahre fortgeschrieben. Ein Trend, keine Prognose.

Gesichert

Die Speichermauer

In zwei Jahrzehnten wuchs die Spitzenrechenleistung etwa um das 3-Fache alle zwei Jahre, die Speicherbandbreite um etwa das 1,6-Fache und die Verbindungen um etwa das 1,4-Fache. Chips warten immer öfter auf Daten, statt zu rechnen. Darum sitzt der HBM heute im Gehäuse.

Quelle (1)
IV

Neue Materialien und Transistoren

Der Transistor selbst wird neu entworfen: seine Form, der Weg, auf dem der Strom hineinkommt, und irgendwann das Material, aus dem er besteht.

Vielversprechend

Nanosheets, dann Strom von hinten

Gate-all-around-Transistoren mit Nanosheets umschließen den Kanal mit dem Gate für bessere Kontrolle und weniger Leckstrom; TSMCs N2 nutzt sie. Als Nächstes kommt die Stromzufuhr von der Rückseite (TSMC A16, „Super Power Rail“): Die Stromleitungen wandern unter die Transistoren und geben die Oberseite für Signale frei. Der Zeitplan soll sich auf 2027 verschoben haben.

Quelle (2)
V

Neue Architekturen

Wo das Silizium sitzt, zählt so viel wie das, was es ist. Abb. 5 stellt das Gehäuse von heute einem gestapelten gegenüber.

Abb. 5 — Derselbe Chip, nebeneinander oder gestapelt

2,5D-Gehäuse (heute)

1234

3D-Stapel (morgen)

5678
  1. Rechenchip
  2. HBM-Stapel
  3. Silizium-Interposer
  4. Lange Leitungen: Millimeter, also mehr Energie
  5. Hybrid-Bond-Pads im Mikrometer-Raster
  6. Darauf gestapelter Rechenchip
  7. Sehr kurzer vertikaler Weg
  8. Die Wärme muss den ganzen Stapel durchqueren
Heute durchquert das Datum Millimeter Interposer. Gestapelt durchquert es Mikrometer. Der Preis: Die Wärme muss nun den Stapel durchqueren.

Gesichert

Chiplets überall

Ein einzelner Chip kann das Retikellimit von etwa 850 mm² nicht überschreiten. Deshalb nutzt Rubin zwei Chips, Rubin Ultra vier, AMDs MI455X mehrere Chiplets und der TPU 8 zwei getrennte Chips. Chiplets verbessern die Ausbeute und erlauben gemischte Prozesse, aber jede Verbindung zwischen Chips kostet Energie.

Quelle (3)

Vielversprechend

Maßgeschneiderter HBM

HBM4 verdoppelt die Schnittstelle auf 2.048 Bit (JEDEC-Standard, April 2025). Sein Basischip wird zum Logikchip aus einer Foundry wie TSMC, in den ein Kunde eigene Schaltungen einbauen kann (maßgeschneiderter HBM4E). Speicher wird vom Massenprodukt zum Halb-Custom-Produkt.

Quelle (3)

Vielversprechend

Licht im Gehäuse

Co-Packaged Optics (CPO) setzen optische Engines neben den Switch oder Beschleuniger und ersetzen steckbare Module und lange Kupferstrecken. Nvidia nennt bis zu 3,5-fach bessere Energieeffizienz für seine photonischen Switches. Optik für die Verbindungen zwischen GPUs im Rack ist der nächste Schritt.

Quelle (3)

Vielversprechend

Spezialisierte Chips

Das Lesen einer Eingabe (Prefill) ist durch die Rechenleistung begrenzt, das Schreiben der Antwort (Decode) durch den Speicher. Nvidias Rubin CPX zielt mit günstigerem GDDR7-Speicher auf Prefill, Google teilt seinen TPU 8, Microsofts Maia 200 zielt auf Inferenz. Ein Chip pro Aufgabe.

Quelle (3)
VI

Klügere Software

Das billigste Watt ist das, das nie verbraucht wird. Software holt mehr aus demselben Silizium, und Abb. 6 zeigt, was pro Watt auf dem Spiel steht.

Abb. 6 — Leistung pro Watt in der Spitze

FP8 (8-Bit-Zahlen)

  1. H1002.8
  2. B2004.5

FP4 (4-Bit-Zahlen)

  1. B2009.0
  2. B30010.7
  3. Rubin27.8
  4. Rubin Ultra27.8

TFLOPS / W — Spitze, dichtAngekündigte Zahlen, nicht gemessen

Spitzendurchsatz geteilt durch die Chipleistung. Das halbierte Zahlenformat verdoppelt den Wert etwa; Rubin und Rubin Ultra nutzen angekündigte Werte, und ihr Verhältnis ist gleich.

Vielversprechend

Weniger Bits: FP4

NVFP4 ist ein 4-Bit-Zahlenformat mit blockweiser Skalierung. NVIDIA-Forscher trainierten damit ein Modell mit 12 Milliarden Parametern auf 10 Billionen Tokens vor, mit einer Genauigkeit vergleichbar mit FP8. Halb so viele Bits heißen halb so viele Daten zu bewegen und etwa doppelten Spitzendurchsatz.

Quelle (1)

Gesichert

Bessere Kernel

FlashAttention-3 ordnet die Attention so um, dass die Daten im On-Chip-Speicher bleiben: etwa 75 % Auslastung eines H100 in FP16, 1,5- bis 2-mal schneller als Version 2. Dieselbe Mathematik, weniger Wege zum HBM.

Quelle (1)
VII

Wärme und Stromversorgung

Jedes Watt, das ein Chip verbraucht, wird zu Wärme, und jedes Watt Wärme muss hinaus. Abb. 7 zeigt den Anstieg der Leistung pro Chip und pro Rack; Abb. 8 zwei Wege, die Wärme abzuführen.

Abb. 7 — Die Leistung steigt weiter

Leistung pro Chip (W)

  1. H100700 W
  2. B2001000 W
  3. B3001400 W
  4. Rubin≈ 1800 W
  5. Rubin Ultra≈ 3600 W

Leistung pro Rack (kW)

  1. GB200 / GB300 NVL72≈ 120–130 kW
  2. Vera Rubin NVL72≈ 190–230 kW
  3. Rubin Ultra NVL576≈ 600 kW

Angekündigt oder geschätzt

Jede Generation zieht mehr. Die Werte von Rubin und Rubin Ultra sind angekündigt oder geschätzt.

Abb. 8 — Zwei Wege, die Wärme abzuführen

Kühlplatte (heute)

12345

Mikrofluidik (Prototyp)

1567
  1. Hotspot im Chip
  2. Wärmeleitpaste
  3. Metalldeckel
  4. Kühlplatte
  5. Kühlmittel
  6. In Silizium geätzte Kanäle
  7. Flüssigkeit wenige Dutzend Mikrometer von den Transistoren entfernt
Eine Kühlplatte zieht die Wärme durch mehrere Schichten. Mikrofluidik bringt die Flüssigkeit direkt an die Transistoren. Microsoft maß im Labor bis zu dreimal bessere Wärmeabfuhr.
VIII

Unsere Hypothesen

Das Folgende ist unsere eigene Überlegung, kein veröffentlichtes Ergebnis. Der Vertrauenswert sagt, wie sehr wir heute daran glauben; er wird sich ändern.

H1

Die Speicherbandbreite bleibt die wichtigste Grenze

Bis 2030 wird jede Generation zuerst durch ihren Speicher bestimmt: mehr Stapel, schnellere Stapel, näher am Rechenwerk. Die Spitzen-FLOPS wachsen weiter schneller als die Daten, die sie füttern.

Vertrauen80 %
Dafür
Der gemessene Trend seit 2000; die HBM4- und HBM4E-Roadmaps; MI455X und Rubin stecken den Großteil ihrer Neuerungen in den Speicher.
Dagegen
Kleinere Zahlenformate und Sparsity senken die Bytes pro Operation und könnten den Druck eine Zeit lang mindern.
Quelle (2)

H2

Hybrid-Bonden wird bis 2029 Standard

3D-Stapeln mit Kupfer-auf-Kupfer-Bonden wandert von wenigen Produkten in die meisten High-End-Gehäuse: zuerst im HBM mit 16 Lagen, dann Logik auf Cache oder Speicher.

Vertrauen55 %
Dafür
In HBM-Roadmaps bereits angekündigt; es verkürzt Verbindungen und spart Energie.
Dagegen
Wärmestau zwischen den Lagen, Ausbeute gebondeter Stapel und Kosten sind in großen Stückzahlen ungelöst.
Quelle (2)

H3

Optik zieht ins Gehäuse ein, dann ins Rack

Optische Verbindungen ersetzen Kupfer zuerst zwischen Racks, dann zwischen GPUs im Rack, etwa zur Jahrzehntwende.

Vertrauen55 %
Dafür
Nvidia liefert CPO-Switches; die Reichweite von Kupfer sinkt mit steigenden Geschwindigkeiten; Google nutzt optische Vermittlung bereits in TPU-Pods.
Dagegen
Zuverlässigkeit, Wartbarkeit und Laserkosten. Kupfer überrascht immer wieder durch längere Lebensdauer.
Quelle (2)

H4

FP4 wird zum Standardformat

Die meisten großen Trainingsläufe und fast alle Inferenz nutzen innerhalb von drei Jahren 4-Bit-Formate, wobei einige empfindliche Schichten höher aufgelöst bleiben.

Vertrauen55 %
Dafür
NVFP4-Vortraining mit 10 Billionen Tokens; Hardwareunterstützung in Blackwell, Rubin und MI355X.
Dagegen
Genauigkeitsrisiken bei den schwersten Aufgaben, und Modelle, die FP4-Qualität nur mit sorgfältigen Rezepten erreichen.
Quelle (1)

H5

Flüssigkeitskühlung im Chip erreicht Produkte bis 2030

Ein erster kommerzieller Beschleuniger nutzt Mikrokanäle, die in das Silizium oder direkt darunter geätzt sind.

Vertrauen40 %
Dafür
Ein dreifacher Laborgewinn; die 3.600-W-Klasse von Rubin Ultra liegt nahe an dem, was Kühlplatten leisten können.
Dagegen
Lecks, Zuverlässigkeit und eine neue Lieferkette; Platten und Immersion könnten weiter reichen als erwartet.
Quelle (2)

H6

Effizienz kommt eher aus Design und Software als aus dem Prozess

Jeder neue Prozessknoten hilft weiterhin, aber der Großteil des Gewinns pro Watt bis 2030 kommt aus Formaten, Speicherplatzierung, Planung und spezialisierten Chips.

Vertrauen70 %
Dafür
Spitzen-FP4 pro Watt ist nach unserer Rechnung zwischen Rubin und Rubin Ultra etwa gleich (Abb. 6); Einsparungen wie bei Perseus brauchen kein neues Silizium.
Dagegen
Ein echter Durchbruch bei den Transistoren (Rückseitenstrom im großen Maßstab) würde das Gleichgewicht verändern.
Quelle (3)

H7

Ein 2D-Material-Transistor in einem kommerziellen KI-Chip vor 2031

Wir halten das auf diesem Horizont für unwahrscheinlich: Die Laborergebnisse sind echt, aber die Fertigung im KI-Chip-Maßstab ist etwas anderes.

Vertrauen5 %
Dafür
Komplementäre 2D-Transistoren mit 50 nm Pitch auf 300-mm-Wafern im Jahr 2026.
Dagegen
Kontakte, Defekte und Ausbeute; die Industrie muss zuerst noch CFET und Rückseitenstrom einführen.
Quelle (2)
IX

Vorläufige Schlussfolgerungen

Was wir in diesem Stadium denken. „Vorläufig“ ist das Schlüsselwort.

  1. Der nächste Gewinn liegt im Speicher, nicht im Rechenwerk

    Alles weist in dieselbe Richtung: mehr HBM, maßgeschneiderte Basischips, Stapeln und Optik im Gehäuse. Ein Chip wird heute danach beurteilt, wie schnell man ihn füttern kann.

    Quelle (2)
  2. Watt werden an drei Stellen gleichzeitig gespart

    Weniger Bits (FP4), weniger Datenbewegung (Stapeln, Optik) und klügere Planung summieren sich. Kein einzelner Trick reicht.

    Quelle (3)
  3. Wärme und Stromversorgung sind jetzt Designprobleme

    Bei 600 kW pro Rack entscheiden Kühlung und 800-V-Verteilung darüber, was gebaut werden kann, ebenso wie die Transistoren.

    Quelle (2)
  4. Das Feld diversifiziert sich

    Rubin, MI455X, TPU 8, Trainium4, Maia 200: Trainings- und Inferenzchips driften auseinander, und die großen Clouds entwerfen ihre eigenen.

    Quelle (2)
X

Offene Fragen

Nächste Spuren

XI

Lexikon

Die Wörter dieses Notizbuchs in einfacher Sprache.

TDP
Thermal Design Power: die Wärme in Watt, die das Kühlsystem von einem Chip abführen können muss.
HBM
High-Bandwidth Memory: senkrecht gestapelte DRAM-Lagen direkt neben dem Chip, verbunden durch Tausende sehr kurzer Leitungen.
Interposer
Eine dünne Siliziumplatte unter den Chips, die die feine Verdrahtung zwischen Rechenchips und Speicher trägt (TSMCs Variante heißt CoWoS).
Chiplet
Ein kleiner Chip, der ein Teil eines größeren Prozessors ist. Mehrere Chiplets werden in einem Gehäuse zusammengesetzt.
Retikellimit
Die größte Fläche, die eine Lithografiemaschine in einer Belichtung druckt, etwa 850 mm². Sie begrenzt die Größe eines einzelnen Chips.
Hybrid-Bonden
Zwei Chips verbinden, indem ihre Kupferkontakte direkt verklebt werden, ohne Lötkugeln. Die Verbindungen sind viel kleiner und dichter.
FP4
Eine Gleitkommazahl mit nur 4 Bit. Weniger genau, aber sie halbiert die bewegten Daten und beschleunigt das Rechnen.
Gate-all-around
Ein Transistor, dessen Gate den Kanal von allen Seiten umschließt, mit besserer Kontrolle als die ältere Finnenform.
Rückseitenstrom
Strom von der Unterseite des Chips zuführen, damit die Oberseite für Signalleitungen frei bleibt.
Co-Packaged Optics
Optische Transceiver im selben Gehäuse wie der Chip: Signale verlassen es als Licht nach einem sehr kurzen elektrischen Weg.
Wärmeleitmaterial
Die Wärmeleitpaste oder das Pad zwischen Chip und Deckel oder Kühlplatte. Es füllt winzige Lücken, damit Wärme hindurchgeht.

Notizbuch-Protokoll

  1. Notizbuch angelegt: heutige Chips, Generation 2026–28, vier Mauern, Materialien, Architekturen, Software, Wärme; acht Schaubilder und sieben Hypothesen.

Die KI von morgen →

Quellen (45)

Nach oben