有望
IBMのNorthPole：メモリはすべてチップ上に（2023年）
トランジスタ220億個、外部メモリなし。画像認識（ResNet-50）で、同じ12nmの工程で作られたGPUと比べて、エネルギー効率は25倍、遅延は22分の1、トランジスタあたりの処理量は5倍。4nmのH100と比べても5倍省エネです。デジタルなのでアナログの雑音もありません。限界は、すべてがチップのメモリに収まらなければならないことです。
深掘り · 第IV章
機械そのものを変える
1940年代以来、コンピュータは二つの部分で作られてきました。一方にメモリ、もう一方に計算器、そのあいだに廊下。1語ごとに何十億もの重みを読むAIにとって、この廊下がいちばんの出費になりました。
考え方をひとことで
プロセッサは格段に速くなりましたが、メモリはそれほどでもなく、データを動かす費用は計算に比べてますます高くなっています。700億の重みを持つモデルは、1語書くたびにそのすべてを読み直します。計算器は待たされ、エネルギーは廊下で消えていきます。
考え方はこうです。重みを動かすのをやめ、計算する場所に置くか、メモリ自体に計算させるのです。
どう動くのか
三つの系統があります。メモリのそばのデジタル：小さなコアがたくさんあり、それぞれのすぐ隣に専用のメモリがあって、外部メモリはありません。メモリ内のアナログ：重みを電気の通りやすさ（コンダクタンス）として保存し、オームの法則が掛け算をします。電圧をかけ、電流を読むのです。光：光学部品の格子を光が通り抜けるあいだに、行列の積が計算されます。
三つとも、得の出どころは同じで、往復が減ることです。難しさも共通しています。チップ上のメモリは限られ、アナログ信号には雑音があり、こうした機械をデジタルのソフトウェアの世界に組み込まなければなりません。
出典： Horowitz, Computing's Energy Problem (ISSCC 2014)
図J — 廊下か、廊下なしか
従来のコンピュータ
メモリ
計算器
重みはどれも往復します。主記憶から64ビット読むのに約1,300〜2,600 pJ、計算は約4 pJです。
メモリ内計算
メモリのセルそれぞれが、自分の重みのある場所で計算します。廊下は消えます。
説明用の図です。考え方を示すもので、測定値ではありません。
三つの試作機
推測
IBMのアナログチップ：抵抗で計算する（2023年）
14nmで、34枚のタイルに3,500万個の相変化メモリセル。音声認識で、デジタルに近い精度と14倍を超えるエネルギー効率を示し、1ワットあたり毎秒最大12.4兆回の演算をこなします。まだ研究用のチップで、デジタルのコアは載っておらず、一部の処理は外で行います。
出典： Ambrogio et al., An analog-AI chip for speech recognition, Nature (2023)
推測
Lightmatter：光で計算するプロセッサ（2025年）
6つのチップを3次元に積み重ね、トランジスタ500億個と光部品100万個。78ワットで毎秒65.5兆回の演算です。光のプロセッサが初めて、手を加えていないモデル（ResNet、BERT、Atariのゲームを遊ぶAI）を、32ビットの電子回路に近い精度で動かしました。
出典： Ahmed et al., Universal photonic AI acceleration, Nature (2025)
限界
容量：大きな言語モデルは1枚のNorthPoleのメモリに収まりません。多くのチップに分ける必要があり、チップのあいだに廊下が戻ってきます。精度：アナログや光の計算は、温度や経年でずれていきます。生態系：20年分のソフトウェアがGPU向けに書かれています。だからこの道筋は「推測」なのです。物理は働きますが、産業はまだついてきていません。
私たちの仮説にとっての意味
H6の四つ目の要因、動かす1ビットあたりのエネルギーです。そして新しい結論「本当の費用はデータの移動にある」を最もはっきり示しています。データの階層は、同じ考えのソフトウェア版です。よく使うものを計算の近くに置くのです。
試してみたいこと
こうしたチップは作れませんが、壁を測ることはできます。ふつうのコンピュータで、重みがプロセッサのキャッシュに収まる小さなモデルと、収まらないモデルの実行時間を計るのです。その跳ね上がりが、これらのチップが取り除こうとしている壁を小さな規模で見せてくれるはずです。