유망
IBM NorthPole: 메모리를 모두 칩 위에(2023)
트랜지스터 220억 개, 외부 메모리 없음. 이미지 인식(ResNet-50)에서 같은 12nm 공정으로 만든 GPU와 비교해 에너지 효율 25배, 지연은 22분의 1, 트랜지스터당 처리량은 5배. 4nm H100보다도 5배 효율적입니다. 디지털이라 아날로그 잡음도 없습니다. 한계는 모든 것이 칩의 메모리에 들어가야 한다는 점입니다.
심화 · 제IV장
기계 자체를 바꾸기
1940년대 이후 컴퓨터는 두 부분으로 만들어져 왔습니다. 한쪽에는 메모리, 다른 쪽에는 계산기, 그 사이에는 복도. 단어마다 수십억 개의 가중치를 읽는 AI에게는 이 복도가 가장 큰 지출이 되었습니다.
핵심만 간단히
프로세서는 엄청나게 빨라졌지만 메모리는 훨씬 덜 빨라졌고, 데이터를 옮기는 비용은 계산에 비해 점점 비싸지고 있습니다. 가중치 700억 개짜리 모델은 단어 하나를 쓸 때마다 그것을 모두 다시 읽습니다. 계산기는 기다리고, 에너지는 복도에서 사라집니다.
생각은 이렇습니다. 가중치를 옮기지 말자. 계산하는 곳에 두거나, 메모리 자체가 계산하게 하자.
어떻게 작동하나
세 갈래가 있습니다. 메모리 곁의 디지털: 작은 코어가 많고, 코어마다 바로 옆에 자기 메모리가 있으며, 외부 메모리는 없습니다. 메모리 속의 아날로그: 가중치를 전기가 통하는 정도(전도도)로 저장하고, 옴의 법칙이 곱셈을 합니다. 전압을 걸고 전류를 읽는 것이지요. 광: 빛이 광학 부품의 격자를 지나가는 동안 행렬 곱이 계산됩니다.
세 경우 모두 이득은 같은 데서 옵니다. 오가는 일이 줄어든다는 것. 어려움도 같습니다. 칩 위 메모리는 한정되어 있고, 아날로그 신호에는 잡음이 있으며, 이런 기계를 디지털 소프트웨어의 세계에 끼워 넣어야 합니다.
출처: Horowitz, Computing's Energy Problem (ISSCC 2014)
그림 J — 복도가 있느냐, 없느냐
기존 컴퓨터
메모리
계산기
가중치는 모두 오갑니다. 주 메모리에서 64비트를 읽는 데 약 1,300~2,600 pJ, 계산은 약 4 pJ입니다.
메모리 내 계산
메모리 셀마다 자기 가중치가 있는 자리에서 계산합니다. 복도가 사라집니다.
설명용 그림입니다. 개념을 보여 줄 뿐 측정값이 아닙니다.
세 가지 시제품
추측
IBM 아날로그 칩: 저항으로 계산하기(2023)
14nm 공정, 타일 34장에 상변화 메모리 셀 3,500만 개. 음성 인식에서 디지털에 가까운 정확도와 14배가 넘는 에너지 효율을 보이며, 와트당 초당 최대 12.4조 번의 연산을 합니다. 아직 연구용 칩이라 디지털 코어가 없고, 일부 단계는 밖에서 처리합니다.
출처: Ambrogio et al., An analog-AI chip for speech recognition, Nature (2023)
추측
Lightmatter: 빛으로 계산하는 프로세서(2025)
칩 6개를 3차원으로 쌓고, 트랜지스터 500억 개와 광 부품 100만 개를 담았습니다. 78와트로 초당 65.5조 번의 연산. 빛으로 계산하는 프로세서가 처음으로 손대지 않은 모델(ResNet, BERT, 아타리 게임을 하는 AI)을 32비트 전자 회로에 가까운 정확도로 돌렸습니다.
출처: Ahmed et al., Universal photonic AI acceleration, Nature (2025)
한계
용량: 큰 언어 모델은 NorthPole 한 장의 메모리에 들어가지 않습니다. 여러 칩에 나눠야 하고, 칩 사이에 다시 복도가 생깁니다. 정밀도: 아날로그와 광 계산은 온도와 노화에 따라 어긋납니다. 생태계: 20년치 소프트웨어가 GPU를 위해 쓰였습니다. 그래서 이 길은 '추측'입니다. 물리는 작동하지만 산업은 아직 따라오지 않습니다.
우리 가설에 주는 의미
H6의 네 번째 요인, 옮기는 비트 하나당 에너지입니다. 그리고 새 결론 '진짜 비용은 데이터를 옮기는 데 있다'를 가장 뚜렷이 보여 줍니다. 데이터의 위계는 같은 생각의 소프트웨어판입니다. 자주 쓰는 것을 계산 가까이 두는 것이지요.
시험해 보고 싶은 것
이런 칩은 만들 수 없지만 장벽은 잴 수 있습니다. 평범한 컴퓨터에서, 가중치가 프로세서 캐시에 들어가는 작은 모델과 들어가지 않는 모델의 실행 시간을 재는 것입니다. 그 급격한 차이가 이 칩들이 없애려는 장벽을 작은 규모로 보여 줄 것입니다.