확립됨
Nvidia Blackwell: B200, B300
2025~26년의 주력입니다. B200은 레티클 한계 크기의 다이 두 개를 묶고, HBM3E 192 GB(대역폭 8 TB/s)를 얹어 약 1,000 W를 씁니다. B300은 메모리를 288 GB(12단 적층)로 늘리고 약 1,400 W입니다. 72개를 담은 NVL72 랙은 대략 120~130 kW를 소비합니다.
살아 있는 노트 · 코덱스 2호
다음 AI를 학습시킬 칩은 어떤 모습일까요?
AI 모델은 그것을 먹여 살리는 칩보다 빠를 수 없습니다. 이 노트는 오늘 AI를 학습시키는 칩, 지금 개발 중인 칩, 그리고 다음 세대에 대한 우리의 가설을 다룹니다. 더 높은 성능, 더 적은 에너지, 더 적은 열이 핵심입니다. 칩의 속을 볼 수 있도록 도해를 많이 넣었습니다.
현대의 AI 가속기는 칩 하나가 아니라 작은 도시입니다. 연산 다이, 메모리 적층, 배선이 하나의 패키지 위에 올라갑니다. 그림 1은 층 구조를, 그림 2는 가장 중요한 수치인 메모리를 기준으로 주요 칩을 비교합니다.
그림 1 — AI 가속기의 구조
그림 2 — 주요 칩의 메모리 대역폭과 용량
메모리 대역폭(TB/s)
메모리 용량(GB)
가동 중2026년 세대Rubin의 최초 목표(22 TB/s)
확립됨
2025~26년의 주력입니다. B200은 레티클 한계 크기의 다이 두 개를 묶고, HBM3E 192 GB(대역폭 8 TB/s)를 얹어 약 1,000 W를 씁니다. B300은 메모리를 288 GB(12단 적층)로 늘리고 약 1,400 W입니다. 72개를 담은 NVL72 랙은 대략 120~130 kW를 소비합니다.
확립됨
HBM3E 192 GB, 대역폭 7.37 TB/s, FP8에서 약 4.6 PFLOPS입니다. 포드는 광 회로 스위치로 최대 9,216개의 칩을 연결합니다. 이미 매우 큰 규모로 배치된 몇 안 되는 비(非)Nvidia 칩입니다.
확립됨
Amazon의 첫 3 nm AI 칩으로, HBM3E 144 GB, 대역폭 4.9 TB/s, FP8에서 약 2.5 PFLOPS입니다. Trn3 UltraServer는 칩 144개를 묶습니다. 대형 클라우드 업체가 이제 자체 실리콘을 설계한다는 신호입니다.
확립됨
2026년 1월에 발표되었습니다. 3 nm 칩으로 HBM3E 216 GB(약 7 TB/s), 칩 내 SRAM 272 MB, FP4에서 10 PFLOPS 이상이며 750 W입니다. 학습보다는 모델을 실행하는 추론용으로 만들어졌습니다.
유망함
AMD의 MI355X(HBM3E 288 GB, 8 TB/s)는 Nvidia의 주요 대안입니다. Huawei의 Ascend 칩은 수출 규제에도 불구하고 한국산 HBM에 의존한다고 보도되었습니다. 교훈: 메모리 업체는 칩 설계사만큼 중요합니다.
2026~2028년 세대는 이미 설계를 마쳤거나 양산 중입니다. 경향은 분명합니다. 메모리 대역폭이 크게 늘고, 패키지당 다이가 많아지며, 랙은 수백 킬로와트를 소비합니다.
그림 3 — 칩, 메모리, 공정 2024~2029
Nvidia
AMD
AWS
Microsoft
TSMC
HBM
가동 중양산 확대 중예정
확립됨
TSMC N3P 공정의 다이 두 개, HBM4 288 GB에 최대 19.2 TB/s(최초 목표는 22 TB/s였고 HBM4 핀 속도가 걸림돌이었습니다), NVFP4 추론에서 약 50 PFLOPS, 약 1,800 W입니다. 첫 양산 장비는 2026년 가을에 도착했습니다.
유망함
Rubin Ultra는 2027년 하반기 예정으로, 다이 4개, HBM4E 1 TB, FP4에서 약 100 PFLOPS이며 600 kW 'Kyber' NVL576 랙에 들어갑니다. Feynman은 2028년경으로, Nvidia 로드맵에 실리콘 포토닉스가 있습니다. 모두 발표일 뿐 출하된 것이 아닙니다.
유망함
HBM4 432 GB, 23.3 TB/s, 2 nm급 공정의 연산 칩렛, Helios 랙당 GPU 72개이며 2026년 하반기 예정입니다. 서류상으로는 칩당 메모리와 대역폭이 가장 큽니다.
유망함
Google Cloud Next 2026에서 보도되었습니다. 다음 TPU는 학습용 8t와 추론용 8i로 나뉩니다. 하나의 설계가 두 일 모두에서 최고일 수는 없다는 첫 신호입니다.
유망함
2027년경으로 예상됩니다. Amazon은 Nvidia의 NVLink Fusion을 지원하겠다고 발표했으며, Trainium 칩과 Nvidia GPU가 하나의 패브릭을 공유할 수 있습니다. 아직 공개된 기술 세부 정보는 많지 않습니다.
더 빠르게 만드는 일은 더 이상 트랜지스터를 줄이는 것만이 아닙니다. 다음 세대가 무엇을 할 수 있는지는 네 가지 한계가 정합니다. 그림 4는 첫 번째 한계를 보여줍니다.
그림 4 — 가위: 연산이 메모리에서 멀어진다
이 증가율로 10년이 지나면 연산은 메모리 대역폭보다 약 24배 더 늘어납니다(×243 대 ×10).
확립됨
20년 동안 최고 연산 성능은 2년마다 약 3배, 메모리 대역폭은 약 1.6배, 상호 연결은 약 1.4배 늘었습니다. 칩은 계산하기보다 데이터를 기다리는 시간이 늘고 있습니다. HBM이 패키지 안으로 들어온 이유입니다.
확립됨
데이터를 옮기는 비용은 그 데이터를 계산하는 비용보다 훨씬 큽니다. 8비트 덧셈은 약 0.03 pJ, 칩 밖 DRAM 접근은 1~3 nJ로 수만 배입니다. 에너지를 아끼려면 데이터를 덜 옮겨야 합니다. 노트 '미래의 AI'도 보세요.
확립됨
칩당 전력은 700 W(H100)에서 1,000 W, 1,400 W를 거쳐 약 1,800 W(Rubin), 약 3,600 W(Rubin Ultra, 추정)로 올랐습니다. 랙 전체는 600 kW를 향합니다. 한계가 되는 것은 트랜지스터 수가 아니라 열 유속입니다.
유망함
HBM은 수년간 매진이고, 12단이나 16단을 높은 수율로 쌓기는 어렵고, HBM4에는 파운드리에서 만드는 새 베이스 다이가 필요합니다. TSMC가 Nvidia의 요청으로 3D DRAM 계획을 짜고 있다는 보도가 있습니다(미확인). 속도를 정하는 것은 물리뿐 아니라 공급입니다.
트랜지스터 자체가 다시 설계되고 있습니다. 모양, 전력이 들어오는 위치, 그리고 언젠가는 소재까지 바뀝니다.
유망함
나노시트 게이트-올-어라운드 트랜지스터는 게이트가 채널을 감싸 제어를 높이고 누설을 줄입니다. TSMC의 N2가 이를 씁니다. 다음은 후면 전력 공급(TSMC A16 'Super Power Rail')으로, 전원 배선을 트랜지스터 아래로 옮겨 위쪽을 신호용으로 비웁니다. 일정은 2027년으로 밀린 것으로 보도되었습니다.
추측
CFET는 n형과 p형 트랜지스터를 위아래로 쌓습니다. 이황화몰리브덴 같은 2D 반도체는 원자 몇 개 두께의 채널을 만듭니다. 2026년 imec, ASML, TSMC는 300 mm 웨이퍼에서 50 nm 피치의 상보형 2D 트랜지스터를 만들었습니다. 연구실의 증명이며 제품이 아닙니다.
유망함
유리는 현재의 유기 기판보다 평평해서 더 미세한 배선과 더 큰 패키지를 가능하게 합니다. 패키지에 다이를 여덟 개 이상 올릴 때 유용합니다. 여러 업체가 이번 10년의 끝을 목표로 합니다. 유리는 깨지기 쉽고 가공 비용이 큽니다.
실리콘이 어디에 있는지는 실리콘이 무엇인지만큼 중요합니다. 그림 5는 오늘의 패키지와 적층 패키지를 대비합니다.
그림 5 — 같은 칩, 나란히 또는 쌓아서
2.5D 패키지(현재)
3D 적층(미래)
확립됨
다이 하나는 레티클 한계인 약 850 mm²를 넘을 수 없습니다. 그래서 Rubin은 다이 2개, Rubin Ultra는 4개, AMD MI455X는 여러 칩렛, TPU 8은 서로 다른 칩 2개를 씁니다. 칩렛은 수율을 높이고 공정을 섞을 수 있게 하지만, 다이 사이 연결마다 에너지가 듭니다.
유망함
HBM4는 인터페이스를 2,048비트로 두 배 늘렸습니다(JEDEC 표준, 2025년 4월). 베이스 다이는 TSMC 같은 파운드리에서 만든 로직 다이가 되어, 고객이 자체 회로를 넣을 수 있습니다(맞춤형 HBM4E). 메모리는 범용품에서 반(半)맞춤품이 됩니다.
추측
하이브리드 본딩은 솔더 범프의 수십 마이크로미터와 달리 마이크로미터 피치로 구리끼리 직접 붙입니다. 연결이 더 많고, 더 짧고, 더 차갑습니다. 16단 HBM과 메모리 위에 로직을 쌓는 구성에서 기대됩니다. 대가는 열이 적층 안에 갇히는 것입니다.
유망함
코패키지드 옵틱스(CPO)는 광 엔진을 스위치나 가속기 옆에 두어, 꽂는 트랜시버와 긴 구리 배선을 대체합니다. Nvidia는 광 스위치에서 최대 3.5배의 전력 효율을 주장합니다. 다음 단계는 랙 안 GPU 사이의 광 연결입니다.
유망함
질문을 읽는 단계(프리필)는 연산이, 답을 쓰는 단계(디코드)는 메모리가 한계입니다. Nvidia의 Rubin CPX는 더 싼 GDDR7으로 프리필을 겨냥하고, Google은 TPU 8을 둘로 나누며, Microsoft의 Maia 200은 추론용입니다. 일마다 칩이 있습니다.
가장 싼 와트는 쓰지 않은 와트입니다. 소프트웨어는 같은 실리콘에서 더 많은 것을 끌어내며, 그림 6은 와트당 무엇이 걸려 있는지 보여줍니다.
그림 6 — 최고 성능 기준 와트당 성능
FP8(8비트 수)
FP4(4비트 수)
TFLOPS / W — 최고, 밀집발표값이며 실측이 아님
유망함
NVFP4는 블록 단위로 스케일하는 4비트 숫자 형식입니다. NVIDIA 연구진은 이것으로 120억 파라미터 모델을 10조 토큰으로 사전 학습해 FP8과 비슷한 정확도를 얻었습니다. 비트가 절반이면 옮길 데이터도 절반이고 최고 처리량은 약 두 배입니다.
확립됨
분산 학습에서는 일부 GPU가 가장 느린 GPU를 기다립니다. Perseus(SOSP 2024)는 임계 경로에 없는 GPU를 늦춰, 전체 속도를 떨어뜨리지 않고 에너지를 최대 30% 절약합니다.
확립됨
FlashAttention-3은 데이터가 칩 내부 메모리에 머물도록 어텐션을 재구성해, H100의 FP16에서 약 75% 활용률, 버전 2보다 1.5~2배 빠릅니다. 같은 수학이지만 HBM 왕복이 줄어듭니다.
확립됨
작은 모델이 여러 단어를 초안으로 쓰고, 큰 모델이 한 번에 검증합니다. 출력은 동일하며 원 논문은 생성이 2~3배 빨라졌다고 측정했습니다. 메모리에 묶여 있던 디코딩이 연산을 더 잘 쓰는 일이 됩니다.
칩이 쓰는 모든 와트는 열이 되고, 그 열은 모두 밖으로 나가야 합니다. 그림 7은 칩과 랙당 전력이 올라가는 모습을, 그림 8은 열을 빼내는 두 가지 방법을 보여줍니다.
그림 7 — 전력은 계속 오른다
칩당 전력(W)
랙당 전력(kW)
발표 또는 추정
그림 8 — 열을 빼내는 두 가지 방법
냉각판(현재)
미세유체(시제품)
확립됨
1,000~1,800 W 칩에 대한 오늘의 해법입니다. 패키지에 붙인 판 속으로 액체가 흐르며, Vera Rubin 랙은 완전 액냉을 전제로 설계되었습니다. 한계는 열이 다이, 열 전도 페이스트, 덮개, 판을 지나야 하고 층마다 저항이 있다는 점입니다.
유망함
2025년 9월 Microsoft는 생물에서 착안한 유로를 칩 뒷면에 새기고 냉각액을 흘렸습니다. 실험실에서 냉각판보다 최대 3배 열 제거, 최고 온도 상승 65% 감소를 확인했습니다. 아직 시제품이며 제품화는 수년 뒤입니다.
유망함
Nvidia는 600 kW Kyber 랙(2027년)에 800 V 직류 배전을 계획합니다. 변환 단계가 줄고 구리를 얇게 쓸 수 있습니다. 전력 공급은 실리콘만큼이나 칩 설계의 일부가 되고 있습니다.
아래는 우리의 추론이며 발표된 결과가 아닙니다. 확신도는 지금 얼마나 믿는지를 나타내며, 앞으로 바뀔 것입니다.
H1
2030년까지 각 세대는 먼저 메모리로 정의됩니다. 더 많은 적층, 더 빠른 적층, 연산에 더 가까운 배치입니다. 최고 FLOPS는 그것을 먹여 살리는 데이터보다 계속 빠르게 늘 것입니다.
H2
구리끼리 붙이는 3D 적층은 소수 제품에서 대부분의 하이엔드 패키지로 퍼집니다. 먼저 16단 HBM, 다음에 캐시나 메모리 위의 로직입니다.
H3
광 연결은 먼저 랙 사이에서, 그다음 랙 안 GPU 사이에서 2030년 전후로 구리를 대체합니다.
H4
3년 안에 대형 학습의 대부분과 거의 모든 추론이 4비트 형식을 쓰고, 민감한 일부 층만 더 높은 정밀도를 유지합니다.
H5
첫 상용 가속기가 실리콘 안이나 바로 아래에 새긴 미세 유로를 사용합니다.
H6
새 공정 노드는 여전히 도움이 되지만, 2030년까지 와트당 향상의 대부분은 숫자 형식, 메모리 배치, 스케줄링, 특화 칩에서 나옵니다.
H7
이 기간에는 가능성이 낮다고 봅니다. 연구실 결과는 진짜지만, AI 칩 규모의 제조는 다른 문제입니다.
현 단계에서 우리가 생각하는 바입니다. '잠정'이 핵심 단어입니다.
모든 것이 같은 방향을 가리킵니다. 더 많은 HBM, 맞춤형 베이스 다이, 적층, 패키지 안의 광학. 칩은 얼마나 빨리 데이터를 먹일 수 있느냐로 평가됩니다.
더 적은 비트(FP4), 더 적은 데이터 이동(적층, 광학), 더 똑똑한 스케줄링이 합쳐집니다. 어느 한 가지 요령만으로는 부족합니다.
랙당 600 kW에서는 냉각과 800 V 배전이 트랜지스터만큼이나 무엇을 만들 수 있는지를 정합니다.
Rubin, MI455X, TPU 8, Trainium4, Maia 200. 학습용과 추론용 칩은 갈라지고 있고, 대형 클라우드는 자체 칩을 설계합니다.
이 노트의 용어를 쉬운 말로 풀었습니다.