기사 미래의 AI
KO

살아 있는 노트 · 코덱스 2호

미래의 칩

다음 AI를 학습시킬 칩은 어떤 모습일까요?

AI 모델은 그것을 먹여 살리는 칩보다 빠를 수 없습니다. 이 노트는 오늘 AI를 학습시키는 칩, 지금 개발 중인 칩, 그리고 다음 세대에 대한 우리의 가설을 다룹니다. 더 높은 성능, 더 적은 에너지, 더 적은 열이 핵심입니다. 칩의 속을 볼 수 있도록 도해를 많이 넣었습니다.

버전 1 · 업데이트

I

오늘 AI를 학습시키는 칩

현대의 AI 가속기는 칩 하나가 아니라 작은 도시입니다. 연산 다이, 메모리 적층, 배선이 하나의 패키지 위에 올라갑니다. 그림 1은 층 구조를, 그림 2는 가장 중요한 수치인 메모리를 기준으로 주요 칩을 비교합니다.

그림 1 — AI 가속기의 구조

123456789
  1. 연산 다이(각각 레티클 한계에 가까움)
  2. HBM 메모리 적층, DRAM 8~12층
  3. HBM 베이스 다이: 각 적층 아래의 컨트롤러
  4. 수직 연결(TSV)이 있는 실리콘 인터포저
  5. 전력을 전달하는 패키지 기판
  6. 두 연산 다이 사이의 직접 연결
  7. 열 전도 페이스트와 금속 덮개
  8. 액체가 흐르는 냉각판
  9. 보드로 가는 솔더 볼
패키지의 단면입니다. 연산 다이와 메모리 적층이 실리콘 인터포저 위에 나란히 놓이고, 모든 것이 위에서 냉각됩니다.

그림 2 — 주요 칩의 메모리 대역폭과 용량

메모리 대역폭(TB/s)

  1. H1003.35
  2. B2008
  3. B3008
  4. MI355X8
  5. Trainium34.9
  6. TPU Ironwood7.37
  7. Maia 2007
  8. Rubin19.2 → 22
  9. MI455X23.3

메모리 용량(GB)

  1. H10080
  2. B200192
  3. B300288
  4. MI355X288
  5. Trainium3144
  6. TPU Ironwood192
  7. Maia 200216
  8. Rubin288
  9. MI455X432

가동 중2026년 세대Rubin의 최초 목표(22 TB/s)

대역폭은 데이터가 연산에 도달하는 속도, 용량은 칩이 담을 수 있는 양입니다. 2026년 세대는 대역폭을 대략 2~3배로 늘립니다.
II

개발 중인 칩

2026~2028년 세대는 이미 설계를 마쳤거나 양산 중입니다. 경향은 분명합니다. 메모리 대역폭이 크게 늘고, 패키지당 다이가 많아지며, 랙은 수백 킬로와트를 소비합니다.

그림 3 — 칩, 메모리, 공정 2024~2029

202420252026202720282029

Nvidia

  • B200
  • B300
  • Rubin
  • Rubin Ultra
  • Feynman

AMD

  • MI355X
  • MI455X

Google

  • Ironwood
  • TPU 8t · 8i

AWS

  • Trainium3
  • Trainium4

Microsoft

  • Maia 200

TSMC

  • N2
  • A16
  • A14
  • A12

HBM

  • HBM3E
  • HBM4
  • HBM4E
  • HBM5
2026년 11월

가동 중양산 확대 중예정

미래 항목의 날짜는 발표 또는 보도에 따른 것이며 자주 바뀝니다. 일정표가 아니라 도착 순서로 읽으세요.

확립됨

Nvidia Rubin (Vera Rubin NVL72)

TSMC N3P 공정의 다이 두 개, HBM4 288 GB에 최대 19.2 TB/s(최초 목표는 22 TB/s였고 HBM4 핀 속도가 걸림돌이었습니다), NVFP4 추론에서 약 50 PFLOPS, 약 1,800 W입니다. 첫 양산 장비는 2026년 가을에 도착했습니다.

출처 (3)

유망함

Rubin Ultra와 Feynman

Rubin Ultra는 2027년 하반기 예정으로, 다이 4개, HBM4E 1 TB, FP4에서 약 100 PFLOPS이며 600 kW 'Kyber' NVL576 랙에 들어갑니다. Feynman은 2028년경으로, Nvidia 로드맵에 실리콘 포토닉스가 있습니다. 모두 발표일 뿐 출하된 것이 아닙니다.

출처 (2)

유망함

Google TPU 8: 하나가 아닌 두 개의 칩

Google Cloud Next 2026에서 보도되었습니다. 다음 TPU는 학습용 8t와 추론용 8i로 나뉩니다. 하나의 설계가 두 일 모두에서 최고일 수는 없다는 첫 신호입니다.

출처 (1)
III

네 개의 벽

더 빠르게 만드는 일은 더 이상 트랜지스터를 줄이는 것만이 아닙니다. 다음 세대가 무엇을 할 수 있는지는 네 가지 한계가 정합니다. 그림 4는 첫 번째 한계를 보여줍니다.

그림 4 — 가위: 연산이 메모리에서 멀어진다

×1×10×1000246810년×243×10×5
  • 최고 연산
  • 메모리 대역폭

이 증가율로 10년이 지나면 연산은 메모리 대역폭보다 약 24배 더 늘어납니다(×243 대 ×10).

Gholami 등이 20년에 걸쳐 측정한 2년당 증가율(연산 ×3.0, 메모리 대역폭 ×1.6, 상호 연결 ×1.4)을 여기서는 10년으로 연장했습니다. 예측이 아니라 추세입니다.

확립됨

메모리의 벽

20년 동안 최고 연산 성능은 2년마다 약 3배, 메모리 대역폭은 약 1.6배, 상호 연결은 약 1.4배 늘었습니다. 칩은 계산하기보다 데이터를 기다리는 시간이 늘고 있습니다. HBM이 패키지 안으로 들어온 이유입니다.

출처 (1)

유망함

공급의 벽

HBM은 수년간 매진이고, 12단이나 16단을 높은 수율로 쌓기는 어렵고, HBM4에는 파운드리에서 만드는 새 베이스 다이가 필요합니다. TSMC가 Nvidia의 요청으로 3D DRAM 계획을 짜고 있다는 보도가 있습니다(미확인). 속도를 정하는 것은 물리뿐 아니라 공급입니다.

출처 (2)
IV

새로운 소재와 트랜지스터

트랜지스터 자체가 다시 설계되고 있습니다. 모양, 전력이 들어오는 위치, 그리고 언젠가는 소재까지 바뀝니다.

유망함

나노시트, 그리고 후면 전력 공급

나노시트 게이트-올-어라운드 트랜지스터는 게이트가 채널을 감싸 제어를 높이고 누설을 줄입니다. TSMC의 N2가 이를 씁니다. 다음은 후면 전력 공급(TSMC A16 'Super Power Rail')으로, 전원 배선을 트랜지스터 아래로 옮겨 위쪽을 신호용으로 비웁니다. 일정은 2027년으로 밀린 것으로 보도되었습니다.

출처 (2)

추측

CFET와 2D 반도체

CFET는 n형과 p형 트랜지스터를 위아래로 쌓습니다. 이황화몰리브덴 같은 2D 반도체는 원자 몇 개 두께의 채널을 만듭니다. 2026년 imec, ASML, TSMC는 300 mm 웨이퍼에서 50 nm 피치의 상보형 2D 트랜지스터를 만들었습니다. 연구실의 증명이며 제품이 아닙니다.

출처 (2)
V

새로운 아키텍처

실리콘이 어디에 있는지는 실리콘이 무엇인지만큼 중요합니다. 그림 5는 오늘의 패키지와 적층 패키지를 대비합니다.

그림 5 — 같은 칩, 나란히 또는 쌓아서

2.5D 패키지(현재)

1234

3D 적층(미래)

5678
  1. 연산 다이
  2. HBM 적층
  3. 실리콘 인터포저
  4. 긴 배선: 밀리미터 단위라 에너지가 더 든다
  5. 마이크로미터 피치의 하이브리드 본딩 패드
  6. 위에 쌓은 연산 다이
  7. 매우 짧은 수직 경로
  8. 열이 적층 전체를 지나야 한다
지금은 데이터가 수 밀리미터의 인터포저를 건넙니다. 쌓으면 수 마이크로미터면 됩니다. 대가는 열이 적층 전체를 지나야 한다는 것입니다.

확립됨

어디에나 있는 칩렛

다이 하나는 레티클 한계인 약 850 mm²를 넘을 수 없습니다. 그래서 Rubin은 다이 2개, Rubin Ultra는 4개, AMD MI455X는 여러 칩렛, TPU 8은 서로 다른 칩 2개를 씁니다. 칩렛은 수율을 높이고 공정을 섞을 수 있게 하지만, 다이 사이 연결마다 에너지가 듭니다.

출처 (3)

유망함

맞춤형 HBM

HBM4는 인터페이스를 2,048비트로 두 배 늘렸습니다(JEDEC 표준, 2025년 4월). 베이스 다이는 TSMC 같은 파운드리에서 만든 로직 다이가 되어, 고객이 자체 회로를 넣을 수 있습니다(맞춤형 HBM4E). 메모리는 범용품에서 반(半)맞춤품이 됩니다.

출처 (3)

추측

3D로 쌓기

하이브리드 본딩은 솔더 범프의 수십 마이크로미터와 달리 마이크로미터 피치로 구리끼리 직접 붙입니다. 연결이 더 많고, 더 짧고, 더 차갑습니다. 16단 HBM과 메모리 위에 로직을 쌓는 구성에서 기대됩니다. 대가는 열이 적층 안에 갇히는 것입니다.

출처 (2)

유망함

패키지 안의 빛

코패키지드 옵틱스(CPO)는 광 엔진을 스위치나 가속기 옆에 두어, 꽂는 트랜시버와 긴 구리 배선을 대체합니다. Nvidia는 광 스위치에서 최대 3.5배의 전력 효율을 주장합니다. 다음 단계는 랙 안 GPU 사이의 광 연결입니다.

출처 (3)

유망함

특화된 칩

질문을 읽는 단계(프리필)는 연산이, 답을 쓰는 단계(디코드)는 메모리가 한계입니다. Nvidia의 Rubin CPX는 더 싼 GDDR7으로 프리필을 겨냥하고, Google은 TPU 8을 둘로 나누며, Microsoft의 Maia 200은 추론용입니다. 일마다 칩이 있습니다.

출처 (3)
VI

더 똑똑한 소프트웨어

가장 싼 와트는 쓰지 않은 와트입니다. 소프트웨어는 같은 실리콘에서 더 많은 것을 끌어내며, 그림 6은 와트당 무엇이 걸려 있는지 보여줍니다.

그림 6 — 최고 성능 기준 와트당 성능

FP8(8비트 수)

  1. H1002.8
  2. B2004.5

FP4(4비트 수)

  1. B2009.0
  2. B30010.7
  3. Rubin27.8
  4. Rubin Ultra27.8

TFLOPS / W — 최고, 밀집발표값이며 실측이 아님

최고 처리량을 칩 전력으로 나눈 값입니다. 숫자 형식을 절반으로 줄이면 값이 대략 두 배가 됩니다. Rubin과 Rubin Ultra는 발표값을 썼고 둘의 비율은 같습니다.

유망함

비트를 줄이기: FP4

NVFP4는 블록 단위로 스케일하는 4비트 숫자 형식입니다. NVIDIA 연구진은 이것으로 120억 파라미터 모델을 10조 토큰으로 사전 학습해 FP8과 비슷한 정확도를 얻었습니다. 비트가 절반이면 옮길 데이터도 절반이고 최고 처리량은 약 두 배입니다.

출처 (1)

확립됨

더 나은 커널

FlashAttention-3은 데이터가 칩 내부 메모리에 머물도록 어텐션을 재구성해, H100의 FP16에서 약 75% 활용률, 버전 2보다 1.5~2배 빠릅니다. 같은 수학이지만 HBM 왕복이 줄어듭니다.

출처 (1)
VII

열과 전력 공급

칩이 쓰는 모든 와트는 열이 되고, 그 열은 모두 밖으로 나가야 합니다. 그림 7은 칩과 랙당 전력이 올라가는 모습을, 그림 8은 열을 빼내는 두 가지 방법을 보여줍니다.

그림 7 — 전력은 계속 오른다

칩당 전력(W)

  1. H100700 W
  2. B2001000 W
  3. B3001400 W
  4. Rubin≈ 1800 W
  5. Rubin Ultra≈ 3600 W

랙당 전력(kW)

  1. GB200 / GB300 NVL72≈ 120–130 kW
  2. Vera Rubin NVL72≈ 190–230 kW
  3. Rubin Ultra NVL576≈ 600 kW

발표 또는 추정

세대마다 전력을 더 씁니다. Rubin과 Rubin Ultra의 값은 발표값 또는 추정값입니다.

그림 8 — 열을 빼내는 두 가지 방법

냉각판(현재)

12345

미세유체(시제품)

1567
  1. 다이 안의 핫스폿
  2. 열 전도 페이스트
  3. 금속 덮개
  4. 냉각판
  5. 냉각액
  6. 실리콘에 새긴 유로
  7. 트랜지스터에서 수십 마이크로미터 떨어진 액체
냉각판은 여러 층을 거쳐 열을 끌어냅니다. 미세유체 냉각은 액체를 트랜지스터 바로 옆에 둡니다. Microsoft는 실험실에서 최대 3배의 열 제거를 측정했습니다.
VIII

우리의 가설

아래는 우리의 추론이며 발표된 결과가 아닙니다. 확신도는 지금 얼마나 믿는지를 나타내며, 앞으로 바뀔 것입니다.

H1

메모리 대역폭이 계속 가장 큰 한계다

2030년까지 각 세대는 먼저 메모리로 정의됩니다. 더 많은 적층, 더 빠른 적층, 연산에 더 가까운 배치입니다. 최고 FLOPS는 그것을 먹여 살리는 데이터보다 계속 빠르게 늘 것입니다.

확신도80 %
근거
2000년 이후 측정된 추세, HBM4와 HBM4E 로드맵, MI455X와 Rubin이 새로움의 대부분을 메모리에 쓰는 점.
반론
더 작은 숫자 형식과 희소성이 연산당 바이트를 줄여 한동안 압박을 덜 수 있습니다.
출처 (2)

H2

하이브리드 본딩은 2029년까지 보편화된다

구리끼리 붙이는 3D 적층은 소수 제품에서 대부분의 하이엔드 패키지로 퍼집니다. 먼저 16단 HBM, 다음에 캐시나 메모리 위의 로직입니다.

확신도55 %
근거
HBM 로드맵에 이미 발표되었고, 연결이 짧아지며 에너지를 아낍니다.
반론
층 사이에 갇히는 열, 접합 적층의 수율, 비용은 대량 생산에서 아직 해결되지 않았습니다.
출처 (2)

H3

광학이 패키지로, 그다음 랙으로 들어온다

광 연결은 먼저 랙 사이에서, 그다음 랙 안 GPU 사이에서 2030년 전후로 구리를 대체합니다.

확신도55 %
근거
Nvidia가 CPO 스위치를 출하 중이고, 속도가 오를수록 구리의 도달 거리는 줄며, Google은 이미 TPU 포드에서 광 스위칭을 씁니다.
반론
신뢰성, 유지보수성, 레이저 비용. 구리는 예상보다 오래 버티며 계속 놀라게 합니다.
출처 (2)

H4

FP4가 기본 형식이 된다

3년 안에 대형 학습의 대부분과 거의 모든 추론이 4비트 형식을 쓰고, 민감한 일부 층만 더 높은 정밀도를 유지합니다.

확신도55 %
근거
10조 토큰 규모의 NVFP4 사전 학습, Blackwell, Rubin, MI355X의 하드웨어 지원.
반론
가장 어려운 작업에서의 정확도 위험, 그리고 정교한 방법에서만 FP4 품질에 도달하는 모델.
출처 (1)

H5

칩 내 액체 냉각은 2030년까지 제품에 도달한다

첫 상용 가속기가 실리콘 안이나 바로 아래에 새긴 미세 유로를 사용합니다.

확신도40 %
근거
실험실에서의 3배 개선, 3,600 W급 Rubin Ultra는 냉각판이 할 수 있는 한계에 가깝다는 점.
반론
누수, 신뢰성, 새로운 공급망. 냉각판과 침지 냉각이 예상보다 멀리 갈 수 있습니다.
출처 (2)

H6

효율은 공정보다 설계와 소프트웨어에서 더 많이 나온다

새 공정 노드는 여전히 도움이 되지만, 2030년까지 와트당 향상의 대부분은 숫자 형식, 메모리 배치, 스케줄링, 특화 칩에서 나옵니다.

확신도70 %
근거
우리 계산으로 Rubin과 Rubin Ultra의 최고 FP4/와트는 거의 같습니다(그림 6). Perseus 같은 절감에는 새 실리콘이 필요 없습니다.
반론
트랜지스터의 진짜 돌파구(후면 전력 공급의 대규모 도입)가 나오면 균형이 바뀝니다.
출처 (3)

H7

2031년 이전에 2D 소재 트랜지스터가 상용 AI 칩에 들어간다

이 기간에는 가능성이 낮다고 봅니다. 연구실 결과는 진짜지만, AI 칩 규모의 제조는 다른 문제입니다.

확신도5 %
근거
2026년 300 mm 웨이퍼에서 50 nm 피치의 상보형 2D 트랜지스터가 만들어진 점.
반론
접촉, 결함, 수율. 업계는 먼저 CFET와 후면 전력 공급을 도입해야 합니다.
출처 (2)
IX

잠정 결론

현 단계에서 우리가 생각하는 바입니다. '잠정'이 핵심 단어입니다.

  1. 다음 성과는 연산이 아니라 메모리에 있다

    모든 것이 같은 방향을 가리킵니다. 더 많은 HBM, 맞춤형 베이스 다이, 적층, 패키지 안의 광학. 칩은 얼마나 빨리 데이터를 먹일 수 있느냐로 평가됩니다.

    출처 (2)
  2. 와트는 세 곳에서 동시에 절약된다

    더 적은 비트(FP4), 더 적은 데이터 이동(적층, 광학), 더 똑똑한 스케줄링이 합쳐집니다. 어느 한 가지 요령만으로는 부족합니다.

    출처 (3)
  3. 열과 전력 공급은 이제 설계 문제다

    랙당 600 kW에서는 냉각과 800 V 배전이 트랜지스터만큼이나 무엇을 만들 수 있는지를 정합니다.

    출처 (2)
  4. 분야가 다변화되고 있다

    Rubin, MI455X, TPU 8, Trainium4, Maia 200. 학습용과 추론용 칩은 갈라지고 있고, 대형 클라우드는 자체 칩을 설계합니다.

    출처 (2)
X

열린 질문

다음 과제

XI

용어집

이 노트의 용어를 쉬운 말로 풀었습니다.

TDP
열 설계 전력. 냉각 시스템이 칩에서 제거할 수 있어야 하는 열을 와트로 나타낸 것입니다.
HBM
고대역폭 메모리. DRAM 층을 수직으로 쌓아 칩 바로 옆에 놓고, 수천 개의 짧은 배선으로 연결합니다.
인터포저
칩 아래에 깔리는 얇은 실리콘 판으로, 연산 다이와 메모리 사이의 미세 배선을 담당합니다(TSMC의 것은 CoWoS라고 합니다).
칩렛
더 큰 프로세서의 한 조각인 작은 다이. 여러 칩렛을 하나의 패키지에 조립합니다.
레티클 한계
노광 장비가 한 번의 노광으로 찍을 수 있는 최대 면적으로 약 850 mm². 다이 하나의 크기 상한입니다.
하이브리드 본딩
솔더 범프 없이 구리 패드끼리 직접 붙여 두 다이를 잇는 방식. 연결이 훨씬 작고 촘촘해집니다.
FP4
단 4비트로 쓰는 부동소수점 수. 정밀도는 낮지만 옮기는 데이터가 절반이 되고 계산이 빨라집니다.
게이트-올-어라운드
게이트가 채널을 사방에서 감싸는 트랜지스터. 이전의 핀 모양보다 제어가 좋습니다.
후면 전력 공급
칩의 아랫면에서 전력을 공급해, 윗면을 신호 배선용으로 비워 두는 방식.
코패키지드 옵틱스
칩과 같은 패키지에 광 트랜시버를 넣어, 아주 짧은 전기 경로 뒤에 신호가 빛으로 나가게 하는 방식.
열 계면 물질(TIM)
칩과 덮개 또는 냉각판 사이의 열 전도 페이스트나 패드. 작은 틈을 메워 열이 지나가게 합니다.

노트 기록

  1. 노트 작성: 현재 칩, 2026~28년 세대, 네 개의 벽, 소재, 아키텍처, 소프트웨어, 열. 도해 8점과 가설 7건.

미래의 AI →

출처 (45)

맨 위로