確立
Nvidia Blackwell:B200、B300
2025〜26年の主力です。B200はレチクルサイズ上限のダイ2枚を結び、HBM3Eを192 GB、帯域8 TB/sで搭載し、消費電力は約1,000 Wです。B300はメモリを288 GB(12層積層)に増やし、約1,400 Wです。72個を載せたNVL72ラックは、おおよそ120〜130 kWを消費します。
生きているノート · 手稿 第2号
次のAIを学習させるチップは、どんな姿になるのか。
AIモデルは、それに食べさせるチップより速くは動けません。このノートでは、いまAIを学習させているチップ、開発中のチップ、そして次世代についての私たちの仮説(より高い性能、より少ない電力、より少ない熱)を取り上げます。チップの中身が見えるよう、図もたくさん載せました。
現代のAIアクセラレータは1個のチップではなく、小さな街のようなものです。演算用のダイ、メモリの積層、配線が、ひとつのパッケージの上に載っています。図1で層構造を、図2で最も重要な数値であるメモリを比べます。
図1 — AIアクセラレータの構造
図2 — 主要チップのメモリ帯域と容量
メモリ帯域(TB/s)
メモリ容量(GB)
稼働中2026年世代Rubinの当初目標(22 TB/s)
確立
2025〜26年の主力です。B200はレチクルサイズ上限のダイ2枚を結び、HBM3Eを192 GB、帯域8 TB/sで搭載し、消費電力は約1,000 Wです。B300はメモリを288 GB(12層積層)に増やし、約1,400 Wです。72個を載せたNVL72ラックは、おおよそ120〜130 kWを消費します。
確立
HBM3Eを192 GB、帯域7.37 TB/s、FP8で約4.6 PFLOPSです。ポッドは光回路スイッチで最大9,216個のチップを結びます。すでに非常に大規模に展開されている、数少ないNvidia以外のチップのひとつです。
確立
Amazon初の3 nm AIチップで、HBM3Eを144 GB、帯域4.9 TB/s、FP8で約2.5 PFLOPSです。Trn3 UltraServerは144個を束ねます。大手クラウド事業者が自前のシリコンを設計する時代になったことを示します。
確立
2026年1月に発表。3 nmのチップで、HBM3Eを216 GB、帯域約7 TB/s、チップ上のSRAM 272 MB、FP4で10 PFLOPS超、消費電力は750 Wです。学習よりも、モデルを動かす推論向けです。
有望
AMDのMI355X(HBM3E 288 GB、8 TB/s)はNvidiaの主な対抗馬です。HuaweiのAscendは輸出規制にもかかわらず韓国製HBMに依存していると報じられています。教訓:メモリメーカーはチップ設計者と同じくらい重要です。
2026〜2028年の世代はすでに設計済みか、量産に入っています。傾向ははっきりしています。メモリ帯域が大きく増え、パッケージあたりのダイが増え、ラックは数百キロワットを消費します。
図3 — チップ、メモリ、プロセス 2024〜2029
Nvidia
AMD
AWS
Microsoft
TSMC
HBM
稼働中立ち上げ中予定
確立
TSMCのN3Pプロセスのダイ2枚、HBM4を288 GB、最大19.2 TB/s(当初目標は22 TB/sで、HBM4のピン速度が難所でした)、NVFP4推論で約50 PFLOPS、約1,800 Wです。最初の量産機は2026年秋に届きました。
有望
Rubin Ultraは2027年後半の予定で、ダイ4枚、HBM4Eを1 TB、FP4で約100 PFLOPS、600 kWの「Kyber」NVL576ラックに搭載されます。Feynmanは2028年ごろで、Nvidiaのロードマップにはシリコンフォトニクスが入っています。これらはすべて発表であり、出荷ではありません。
有望
HBM4を432 GB、帯域23.3 TB/s、2 nm級プロセスの演算チップレット、Heliosラックあたり72 GPUで、2026年後半の予定です。紙の上では、1チップあたりのメモリと帯域が最大です。
有望
Google Cloud Next 2026で報じられました。次のTPUは、学習向けの8tと推論向けの8iに分かれます。ひとつの設計では両方の仕事で最良にはなれないという最初の兆候です。
有望
2027年ごろの見込みです。AmazonはNvidiaのNVLink Fusionに対応すると発表しており、TrainiumとNvidia GPUが同じファブリックを共有できる可能性があります。技術的な詳細はまだほとんど公開されていません。
速くすることは、もうトランジスタを小さくするだけではありません。次世代に何ができるかは、4つの限界が決めます。図4は最初の壁を示します。
図4 — はさみ:演算がメモリから離れていく
この伸び率で10年たつと、演算はメモリ帯域より約24倍多く伸びます(×243対×10)。
確立
20年間で、ピーク演算性能は2年ごとに約3倍、メモリ帯域は約1.6倍、相互接続は約1.4倍になりました。チップは計算するより、データを待つ時間が増えています。HBMがパッケージの中に入った理由です。
確立
データを動かすコストは、その計算より桁違いに大きいです。8ビットの加算は約0.03 pJ、チップ外のDRAMアクセスは1〜3 nJで、数万倍にもなります。省エネには、データの移動を減らすことです。ノート「未来のAI」もご覧ください。
確立
チップあたりの電力は700 W(H100)から1,000 W、1,400 W、そして約1,800 W(Rubin)、約3,600 W(Rubin Ultra、推定)へ上がりました。ラック全体では600 kWに向かっています。限界になるのは、トランジスタ数より熱流束です。
有望
HBMは数年先まで完売で、12層や16層を高い歩留まりで積むのは難しく、HBM4にはファウンドリで作る新しいベースダイが必要です。TSMCがNvidiaの要請で3D DRAMの計画を練っていると報じられています(未確認)。ペースを決めるのは物理だけでなく供給です。
トランジスタ自体が設計し直されています。形、電力の入り口、そしていずれは材料そのものまで。
有望
ナノシートのゲート・オール・アラウンド型トランジスタは、ゲートでチャネルを囲んで制御を高め、漏れを減らします。TSMCのN2がこれを使います。次は裏面給電(TSMC A16「Super Power Rail」)で、電源配線をトランジスタの下に移し、上側を信号用に空けます。スケジュールは2027年にずれ込んだと報じられています。
推測
CFETはn型とp型のトランジスタを上下に積みます。二硫化モリブデンのような2D半導体は、数原子の厚さのチャネルを作ります。2026年にimec、ASML、TSMCは、300 mmウェハー上で50 nmピッチの相補型2Dトランジスタを作りました。研究室での実証であり、製品ではありません。
有望
ガラスは現在の有機基板より平らで、より細かい配線と大きなパッケージを可能にします。パッケージに8個以上のダイを載せるときに役立ちます。複数のメーカーが今10年代の終わりを目標にしています。ガラスは割れやすく、加工コストも高いです。
シリコンをどこに置くかは、シリコンが何であるかと同じくらい重要です。図5は、現在のパッケージと積層パッケージを比べます。
図5 — 同じチップを、並べるか積むか
2.5Dパッケージ(現在)
3D積層(将来)
確立
ダイ1枚はレチクル限界、約850 mm²を超えられません。そのためRubinはダイ2枚、Rubin Ultraは4枚、AMDのMI455Xは複数のチップレット、TPU 8は2つの別チップを使います。チップレットは歩留まりを上げ、異なるプロセスを混ぜられますが、ダイ間の接続ごとに電力がかかります。
有望
HBM4はインターフェースを2,048ビットに倍増しました(JEDEC規格、2025年4月)。ベースダイはTSMCのようなファウンドリで作るロジックダイになり、顧客が独自の回路を加えられます(カスタムHBM4E)。メモリは汎用品から半カスタム品になります。
推測
ハイブリッドボンディングは、はんだバンプの数十ミクロンに対し、ミクロン単位のピッチで銅同士を直接接合します。接続は多く、短く、冷たくなります。16層HBMや、メモリの上にロジックを積む構成で期待されています。代償は、熱が積層の中にこもることです。
有望
コパッケージド・オプティクス(CPO)は、光エンジンをスイッチやアクセラレータの隣に置き、差し込み式モジュールや長い銅配線を置き換えます。Nvidiaは、光スイッチで最大3.5倍の電力効率を主張しています。次の段階は、ラック内のGPU間の光接続です。
有望
質問を読む処理(プリフィル)は演算で、答えを書く処理(デコード)はメモリで制限されます。NvidiaのRubin CPXは安価なGDDR7でプリフィルを狙い、GoogleはTPU 8を2つに分け、MicrosoftのMaia 200は推論向けです。仕事ごとにチップがあります。
いちばん安いワットは、使わなかったワットです。ソフトウェアは同じシリコンからより多くを引き出します。図6は、1ワットあたりで何が懸かっているかを示します。
図6 — ピーク時のワット当たり性能
FP8(8ビットの数)
FP4(4ビットの数)
TFLOPS / W — ピーク、密発表値。実測ではありません
有望
NVFP4は、ブロック単位でスケールする4ビットの数値形式です。NVIDIAの研究者は、これで120億パラメータのモデルを10兆トークンで事前学習し、FP8に匹敵する精度を得ました。ビットが半分なら動かすデータも半分で、ピーク性能は約2倍になります。
確立
分散学習では、最も遅いGPUを他のGPUが待ちます。Perseus(SOSP 2024)は、クリティカルパス上にないGPUを遅くして、全体の速度を落とさずに最大30%のエネルギーを節約します。
確立
FlashAttention-3は、データがチップ内メモリに残るようにアテンションを組み替え、H100のFP16で約75%の利用率、バージョン2の1.5〜2倍の速さを出します。同じ数学で、HBMへの往復が減ります。
確立
小さなモデルが数語を下書きし、大きなモデルが1回でまとめて検証します。出力は同一で、元の論文では生成が2〜3倍速くなりました。メモリで制限されていたデコードが、計算をよりよく使う処理に変わります。
チップが使う電力はすべて熱になり、その熱はすべて外へ出さなければなりません。図7はチップとラックの消費電力の上昇を、図8は熱を逃がす2つの方法を示します。
図7 — 電力は上がり続ける
チップあたりの電力(W)
ラックあたりの電力(kW)
発表または推定
図8 — 熱を取り除く2つの方法
コールドプレート(現在)
マイクロ流体(試作)
確立
1,000〜1,800 Wのチップに対する現在の答えです。パッケージに押し当てたプレートに液体を流し、Vera Rubinのラックは全面液冷を前提に設計されています。限界は、熱がダイ、熱伝導グリス、リッド、プレートを通ることで、各層が抵抗になる点です。
有望
2025年9月、Microsoftは生物に着想を得た流路をチップの裏面に刻み、冷却液を通しました。実験室では、コールドプレートより最大3倍の放熱と、最高温度上昇の65%低減を確認しています。まだ試作で、製品化は数年先です。
有望
Nvidiaは、600 kWのKyberラック(2027年)に800 V直流給電を計画しています。変換段が減り、銅線を細くできます。電力供給は、シリコンと同じくらいチップ設計の一部になっています。
以下は私たち自身の推論であり、公表された結果ではありません。確信度は現時点での信じ具合を示し、今後変わります。
H1
2030年まで、各世代はまずメモリで決まります。積層が増え、速くなり、演算に近づきます。ピークFLOPSは、それに食べさせるデータより速く伸び続けます。
H2
銅同士を直接接合する3D積層は、一部の製品からハイエンドのほとんどのパッケージへ広がります。まず16層HBM、次にキャッシュやメモリの上のロジックです。
H3
光接続は、まずラック間で、次にラック内のGPU間で、2030年前後に銅を置き換えます。
H4
3年以内に、大規模学習の大半とほぼすべての推論が4ビット形式を使い、敏感な少数の層だけ高い精度に残ります。
H5
最初の商用アクセラレータが、シリコンの中、またはすぐ下に刻んだマイクロ流路を使います。
H6
新しいプロセスノードは今も役立ちますが、2030年までのワット当たり向上の大半は、数値形式、メモリ配置、スケジューリング、特化チップから来ます。
H7
この期間では起こりにくいと考えます。研究室の成果は本物ですが、AIチップの規模で製造するのは別問題です。
現段階での私たちの考えです。「暫定」が大切な言葉です。
すべてが同じ方向を指しています。HBMの増加、カスタムベースダイ、積層、パッケージ内の光です。チップは、どれだけ速くデータを食べさせられるかで評価されます。
ビット数の削減(FP4)、データ移動の削減(積層、光)、賢いスケジューリングが積み重なります。どれかひとつの工夫では足りません。
ラックあたり600 kWでは、冷却と800 V給電が、トランジスタと同じくらい、作れるものを決めます。
Rubin、MI455X、TPU 8、Trainium4、Maia 200。学習用と推論用のチップは分かれつつあり、大手クラウドは自前で設計します。
このノートの言葉を、やさしく説明します。