記事 未来のAI
JA

生きているノート · 手稿 第2号

未来のチップ

次のAIを学習させるチップは、どんな姿になるのか。

AIモデルは、それに食べさせるチップより速くは動けません。このノートでは、いまAIを学習させているチップ、開発中のチップ、そして次世代についての私たちの仮説(より高い性能、より少ない電力、より少ない熱)を取り上げます。チップの中身が見えるよう、図もたくさん載せました。

バージョン 1 · 更新日

I

いまAIを学習させているチップ

現代のAIアクセラレータは1個のチップではなく、小さな街のようなものです。演算用のダイ、メモリの積層、配線が、ひとつのパッケージの上に載っています。図1で層構造を、図2で最も重要な数値であるメモリを比べます。

図1 — AIアクセラレータの構造

123456789
  1. 演算ダイ(それぞれレチクル限界に近い大きさ)
  2. HBMメモリ積層(DRAM 8〜12層)
  3. HBMのベースダイ:各積層の足元にあるコントローラ
  4. 垂直接続(TSV)を持つシリコンインターポーザ
  5. 電力を運ぶパッケージ基板
  6. 2枚の演算ダイ間の直結リンク
  7. 熱伝導グリスと金属リッド
  8. 液体が流れるコールドプレート
  9. 基板へのはんだボール
パッケージの断面です。演算ダイとメモリの積層がシリコンインターポーザの上に並び、すべてが上から冷やされます。

図2 — 主要チップのメモリ帯域と容量

メモリ帯域(TB/s)

  1. H1003.35
  2. B2008
  3. B3008
  4. MI355X8
  5. Trainium34.9
  6. TPU Ironwood7.37
  7. Maia 2007
  8. Rubin19.2 → 22
  9. MI455X23.3

メモリ容量(GB)

  1. H10080
  2. B200192
  3. B300288
  4. MI355X288
  5. Trainium3144
  6. TPU Ironwood192
  7. Maia 200216
  8. Rubin288
  9. MI455X432

稼働中2026年世代Rubinの当初目標(22 TB/s)

帯域はデータが演算に届く速さ、容量はチップが保持できる量です。2026年世代は、帯域をおおよそ2〜3倍にします。
II

開発中のチップ

2026〜2028年の世代はすでに設計済みか、量産に入っています。傾向ははっきりしています。メモリ帯域が大きく増え、パッケージあたりのダイが増え、ラックは数百キロワットを消費します。

図3 — チップ、メモリ、プロセス 2024〜2029

202420252026202720282029

Nvidia

  • B200
  • B300
  • Rubin
  • Rubin Ultra
  • Feynman

AMD

  • MI355X
  • MI455X

Google

  • Ironwood
  • TPU 8t · 8i

AWS

  • Trainium3
  • Trainium4

Microsoft

  • Maia 200

TSMC

  • N2
  • A16
  • A14
  • A12

HBM

  • HBM3E
  • HBM4
  • HBM4E
  • HBM5
2026年11月

稼働中立ち上げ中予定

将来の項目の日付は発表または報道に基づき、しばしば動きます。日程表ではなく、登場の順序として読んでください。

確立

Nvidia Rubin(Vera Rubin NVL72)

TSMCのN3Pプロセスのダイ2枚、HBM4を288 GB、最大19.2 TB/s(当初目標は22 TB/sで、HBM4のピン速度が難所でした)、NVFP4推論で約50 PFLOPS、約1,800 Wです。最初の量産機は2026年秋に届きました。

出典 (3)

有望

Rubin UltraとFeynman

Rubin Ultraは2027年後半の予定で、ダイ4枚、HBM4Eを1 TB、FP4で約100 PFLOPS、600 kWの「Kyber」NVL576ラックに搭載されます。Feynmanは2028年ごろで、Nvidiaのロードマップにはシリコンフォトニクスが入っています。これらはすべて発表であり、出荷ではありません。

出典 (2)

有望

Google TPU 8:1つではなく2つのチップ

Google Cloud Next 2026で報じられました。次のTPUは、学習向けの8tと推論向けの8iに分かれます。ひとつの設計では両方の仕事で最良にはなれないという最初の兆候です。

出典 (1)
III

4つの壁

速くすることは、もうトランジスタを小さくするだけではありません。次世代に何ができるかは、4つの限界が決めます。図4は最初の壁を示します。

図4 — はさみ:演算がメモリから離れていく

×1×10×1000246810年×243×10×5
  • ピーク演算
  • メモリ帯域

この伸び率で10年たつと、演算はメモリ帯域より約24倍多く伸びます(×243対×10)。

Gholamiらが20年間にわたって測定した2年ごとの伸び(演算×3.0、メモリ帯域×1.6、相互接続×1.4)を、ここでは10年に延ばしました。予測ではなく傾向です。

確立

メモリの壁

20年間で、ピーク演算性能は2年ごとに約3倍、メモリ帯域は約1.6倍、相互接続は約1.4倍になりました。チップは計算するより、データを待つ時間が増えています。HBMがパッケージの中に入った理由です。

出典 (1)

有望

供給の壁

HBMは数年先まで完売で、12層や16層を高い歩留まりで積むのは難しく、HBM4にはファウンドリで作る新しいベースダイが必要です。TSMCがNvidiaの要請で3D DRAMの計画を練っていると報じられています(未確認)。ペースを決めるのは物理だけでなく供給です。

出典 (2)
IV

新しい素材とトランジスタ

トランジスタ自体が設計し直されています。形、電力の入り口、そしていずれは材料そのものまで。

有望

ナノシート、そして裏面給電

ナノシートのゲート・オール・アラウンド型トランジスタは、ゲートでチャネルを囲んで制御を高め、漏れを減らします。TSMCのN2がこれを使います。次は裏面給電(TSMC A16「Super Power Rail」)で、電源配線をトランジスタの下に移し、上側を信号用に空けます。スケジュールは2027年にずれ込んだと報じられています。

出典 (2)

推測

CFETと2D半導体

CFETはn型とp型のトランジスタを上下に積みます。二硫化モリブデンのような2D半導体は、数原子の厚さのチャネルを作ります。2026年にimec、ASML、TSMCは、300 mmウェハー上で50 nmピッチの相補型2Dトランジスタを作りました。研究室での実証であり、製品ではありません。

出典 (2)
V

新しいアーキテクチャ

シリコンをどこに置くかは、シリコンが何であるかと同じくらい重要です。図5は、現在のパッケージと積層パッケージを比べます。

図5 — 同じチップを、並べるか積むか

2.5Dパッケージ(現在)

1234

3D積層(将来)

5678
  1. 演算ダイ
  2. HBM積層
  3. シリコンインターポーザ
  4. 長い配線:ミリ単位のため電力が増える
  5. ミクロンピッチのハイブリッドボンディング・パッド
  6. 上に積んだ演算ダイ
  7. 非常に短い垂直経路
  8. 熱が積層全体を通らなければならない
いまデータは数ミリのインターポーザを渡ります。積層なら数ミクロンで済みます。代償は、熱が積層全体を通らなければならないことです。

確立

どこでもチップレット

ダイ1枚はレチクル限界、約850 mm²を超えられません。そのためRubinはダイ2枚、Rubin Ultraは4枚、AMDのMI455Xは複数のチップレット、TPU 8は2つの別チップを使います。チップレットは歩留まりを上げ、異なるプロセスを混ぜられますが、ダイ間の接続ごとに電力がかかります。

出典 (3)

有望

カスタムHBM

HBM4はインターフェースを2,048ビットに倍増しました(JEDEC規格、2025年4月)。ベースダイはTSMCのようなファウンドリで作るロジックダイになり、顧客が独自の回路を加えられます(カスタムHBM4E)。メモリは汎用品から半カスタム品になります。

出典 (3)

推測

3Dに積む

ハイブリッドボンディングは、はんだバンプの数十ミクロンに対し、ミクロン単位のピッチで銅同士を直接接合します。接続は多く、短く、冷たくなります。16層HBMや、メモリの上にロジックを積む構成で期待されています。代償は、熱が積層の中にこもることです。

出典 (2)

有望

パッケージの中の光

コパッケージド・オプティクス(CPO)は、光エンジンをスイッチやアクセラレータの隣に置き、差し込み式モジュールや長い銅配線を置き換えます。Nvidiaは、光スイッチで最大3.5倍の電力効率を主張しています。次の段階は、ラック内のGPU間の光接続です。

出典 (3)

有望

用途特化のチップ

質問を読む処理(プリフィル)は演算で、答えを書く処理(デコード)はメモリで制限されます。NvidiaのRubin CPXは安価なGDDR7でプリフィルを狙い、GoogleはTPU 8を2つに分け、MicrosoftのMaia 200は推論向けです。仕事ごとにチップがあります。

出典 (3)
VI

より賢いソフトウェア

いちばん安いワットは、使わなかったワットです。ソフトウェアは同じシリコンからより多くを引き出します。図6は、1ワットあたりで何が懸かっているかを示します。

図6 — ピーク時のワット当たり性能

FP8(8ビットの数)

  1. H1002.8
  2. B2004.5

FP4(4ビットの数)

  1. B2009.0
  2. B30010.7
  3. Rubin27.8
  4. Rubin Ultra27.8

TFLOPS / W — ピーク、密発表値。実測ではありません

ピークのスループットをチップの電力で割った値です。数値形式を半分にすると、値はおよそ2倍になります。RubinとRubin Ultraは発表値で、両者の比は変わりません。

有望

ビット数を減らす:FP4

NVFP4は、ブロック単位でスケールする4ビットの数値形式です。NVIDIAの研究者は、これで120億パラメータのモデルを10兆トークンで事前学習し、FP8に匹敵する精度を得ました。ビットが半分なら動かすデータも半分で、ピーク性能は約2倍になります。

出典 (1)

確立

より良いカーネル

FlashAttention-3は、データがチップ内メモリに残るようにアテンションを組み替え、H100のFP16で約75%の利用率、バージョン2の1.5〜2倍の速さを出します。同じ数学で、HBMへの往復が減ります。

出典 (1)

確立

投機的デコーディング

小さなモデルが数語を下書きし、大きなモデルが1回でまとめて検証します。出力は同一で、元の論文では生成が2〜3倍速くなりました。メモリで制限されていたデコードが、計算をよりよく使う処理に変わります。

出典 (1)
VII

熱と電力供給

チップが使う電力はすべて熱になり、その熱はすべて外へ出さなければなりません。図7はチップとラックの消費電力の上昇を、図8は熱を逃がす2つの方法を示します。

図7 — 電力は上がり続ける

チップあたりの電力(W)

  1. H100700 W
  2. B2001000 W
  3. B3001400 W
  4. Rubin≈ 1800 W
  5. Rubin Ultra≈ 3600 W

ラックあたりの電力(kW)

  1. GB200 / GB300 NVL72≈ 120–130 kW
  2. Vera Rubin NVL72≈ 190–230 kW
  3. Rubin Ultra NVL576≈ 600 kW

発表または推定

世代ごとに消費電力は増えます。RubinとRubin Ultraの値は発表または推定です。

図8 — 熱を取り除く2つの方法

コールドプレート(現在)

12345

マイクロ流体(試作)

1567
  1. ダイ内のホットスポット
  2. 熱伝導グリス
  3. 金属リッド
  4. コールドプレート
  5. 冷却液
  6. シリコンに刻んだ流路
  7. トランジスタから数十ミクロンの液体
コールドプレートは複数の層を通して熱を引き出します。マイクロ流体冷却は液体をトランジスタのすぐ隣に置きます。Microsoftは実験室で最大3倍の放熱を確認しました。

確立

液冷コールドプレート

1,000〜1,800 Wのチップに対する現在の答えです。パッケージに押し当てたプレートに液体を流し、Vera Rubinのラックは全面液冷を前提に設計されています。限界は、熱がダイ、熱伝導グリス、リッド、プレートを通ることで、各層が抵抗になる点です。

出典 (2)

有望

シリコンの中で冷やす

2025年9月、Microsoftは生物に着想を得た流路をチップの裏面に刻み、冷却液を通しました。実験室では、コールドプレートより最大3倍の放熱と、最高温度上昇の65%低減を確認しています。まだ試作で、製品化は数年先です。

出典 (2)
VIII

私たちの仮説

以下は私たち自身の推論であり、公表された結果ではありません。確信度は現時点での信じ具合を示し、今後変わります。

H1

メモリ帯域が最大の制約であり続ける

2030年まで、各世代はまずメモリで決まります。積層が増え、速くなり、演算に近づきます。ピークFLOPSは、それに食べさせるデータより速く伸び続けます。

確信度80 %
根拠
2000年以降に測定された傾向、HBM4とHBM4Eのロードマップ、MI455XとRubinが新しさの大半をメモリに使っていること。
反論
小さい数値形式やスパース性で演算あたりのバイト数が減り、しばらくは圧力が和らぐ可能性があります。
出典 (2)

H2

ハイブリッドボンディングは2029年までに主流になる

銅同士を直接接合する3D積層は、一部の製品からハイエンドのほとんどのパッケージへ広がります。まず16層HBM、次にキャッシュやメモリの上のロジックです。

確信度55 %
根拠
HBMのロードマップですでに発表済みで、配線が短くなり電力も節約できます。
反論
層間にこもる熱、接合した積層の歩留まり、コストは、大量生産ではまだ解決していません。
出典 (2)

H3

光はパッケージに入り、次にラックに入る

光接続は、まずラック間で、次にラック内のGPU間で、2030年前後に銅を置き換えます。

確信度55 %
根拠
NvidiaがCPOスイッチを出荷中で、速度が上がるほど銅の到達距離は短くなり、GoogleはすでにTPUポッドで光スイッチングを使っています。
反論
信頼性、保守性、レーザーのコスト。銅は予想より長持ちして驚かせ続けます。
出典 (2)

H4

FP4が標準の形式になる

3年以内に、大規模学習の大半とほぼすべての推論が4ビット形式を使い、敏感な少数の層だけ高い精度に残ります。

確信度55 %
根拠
10兆トークンでのNVFP4事前学習、Blackwell、Rubin、MI355Xでのハードウェア対応。
反論
最も難しいタスクでの精度リスクと、慎重な手順でしかFP4品質に届かないモデル。
出典 (1)

H5

チップ内液冷は2030年までに製品に届く

最初の商用アクセラレータが、シリコンの中、またはすぐ下に刻んだマイクロ流路を使います。

確信度40 %
根拠
実験室での3倍の改善、3,600 WクラスのRubin Ultraはコールドプレートの限界に近いこと。
反論
液漏れ、信頼性、新しい供給網。プレートや浸漬冷却は予想以上に伸びる可能性があります。
出典 (2)

H6

効率向上はプロセスより設計とソフトウェアから来る

新しいプロセスノードは今も役立ちますが、2030年までのワット当たり向上の大半は、数値形式、メモリ配置、スケジューリング、特化チップから来ます。

確信度70 %
根拠
私たちの計算では、RubinとRubin UltraのピークFP4/ワットはほぼ同じです(図6)。Perseus型の節約に新しいシリコンは要りません。
反論
トランジスタでの本物の突破口(裏面給電の大規模展開)があれば、バランスは変わります。
出典 (3)

H7

2031年より前に、2D材料のトランジスタが商用AIチップに載る

この期間では起こりにくいと考えます。研究室の成果は本物ですが、AIチップの規模で製造するのは別問題です。

確信度5 %
根拠
2026年に300 mmウェハー上で50 nmピッチの相補型2Dトランジスタが作られたこと。
反論
コンタクト、欠陥、歩留まり。業界はまずCFETと裏面給電を展開する必要があります。
出典 (2)
IX

暫定的な結論

現段階での私たちの考えです。「暫定」が大切な言葉です。

  1. 次の伸びしろは演算ではなくメモリにある

    すべてが同じ方向を指しています。HBMの増加、カスタムベースダイ、積層、パッケージ内の光です。チップは、どれだけ速くデータを食べさせられるかで評価されます。

    出典 (2)
  2. ワットは3か所で同時に節約される

    ビット数の削減(FP4)、データ移動の削減(積層、光)、賢いスケジューリングが積み重なります。どれかひとつの工夫では足りません。

    出典 (3)
  3. 熱と電力供給は設計の問題になった

    ラックあたり600 kWでは、冷却と800 V給電が、トランジスタと同じくらい、作れるものを決めます。

    出典 (2)
  4. 分野は多様化している

    Rubin、MI455X、TPU 8、Trainium4、Maia 200。学習用と推論用のチップは分かれつつあり、大手クラウドは自前で設計します。

    出典 (2)
X

未解決の問い

次に調べること

XI

用語集

このノートの言葉を、やさしく説明します。

TDP
熱設計電力。冷却システムがチップから取り除けなければならない熱を、ワットで表したものです。
HBM
広帯域メモリ。DRAMの層を縦に積み、チップのすぐ隣に置き、何千本もの短い配線でつなぎます。
インターポーザ
チップの下に敷くシリコンの薄い板で、演算ダイとメモリの間の細かい配線を担います(TSMCのものはCoWoSと呼ばれます)。
チップレット
大きなプロセッサの一部になる小さなダイ。複数のチップレットをひとつのパッケージに組み立てます。
レチクル限界
露光装置が1回の露光で焼き付けられる最大の面積で、約850 mm²。1枚のダイの大きさの上限です。
ハイブリッドボンディング
はんだバンプを使わず、銅のパッド同士を直接接合して2枚のダイをつなぐ方法。接続がはるかに小さく、密になります。
FP4
わずか4ビットで表す浮動小数点数。精度は下がりますが、動かすデータが半分になり、計算も速くなります。
ゲート・オール・アラウンド
ゲートがチャネルを四方から囲むトランジスタ。従来のフィン型より制御が優れています。
裏面給電
チップの下側から電力を供給し、上側を信号配線のために空ける方式。
コパッケージド・オプティクス
チップと同じパッケージに光トランシーバを組み込み、ごく短い電気経路のあと信号を光で送り出す方式。
熱伝導材(TIM)
チップとリッドやコールドプレートの間にある熱伝導グリスやパッド。小さな隙間を埋めて熱を通します。

ノートの更新履歴

  1. ノートを作成。現行のチップ、2026〜28年の世代、4つの壁、素材、アーキテクチャ、ソフトウェア、熱。図8点と仮説7件。

未来のAI →

出典 (45)

ページの先頭へ