일곱 갈래 길은 어떻게 조합되는가

레오나르도의 공방을 떠올려 보세요. 지치지 않고 그림을 더 많이 내려면, 먼저 도제에게 일을 맡기고(작은 모델 먼저), 필요한 전문가만 부르고(전문가), 모든 것을 손으로 그리는 대신 본을 쓰고(프로그램), 안료를 덜 갈고(비트 줄이기), 도구를 바꾸고(기계), 스승에게 다시 보게 하고(검증), 본보기를 머릿속이 아니라 공책에 적어 둘(따로 둔 메모리) 수 있습니다.

각 요령은 비용의 다른 부분을 공략합니다. 그래서 차곡차곡 쌓일 것이라 기대할 수 있습니다. 하지만 서로 맞닿기도 합니다. 아무도 결과를 확인하지 않으면 본은 쓸모가 없고, 도제가 많으면 공방에 자리를 차지합니다. 그림에서 21개 쌍을 한 바퀴 돌아봅니다.

H6 · 절약은 곱해진다 (35 %)

일곱 갈래 길을 모두 쓰는 시스템 안에서 질문 하나를 따라가 봅시다. 1. 배분기가 질문을 봅니다. 프로그램이 이미 답할 수 있다면(계산이나 단위 변환 등) 그것을 부릅니다. 거의 공짜입니다.

2. 그렇지 않으면 작은 모델이 답합니다. 몇몇만 켜지는 전문가로 이루어져 있고, 가중치는 4비트이며, 그 가중치를 계산 바로 옆에 두는 칩에서 돌아갑니다. 3. 사실이 필요하면 가중치에 기대지 않고 메모리에서 찾아봅니다.

4. 답은 검증을 거칩니다. 코드라면 테스트, 아니라면 여러 단어를 한 번에 확인하는 더 큰 모델입니다. 5. 검증에 실패할 때만 질문이 큰 모델로 올라갑니다. 단계마다 제값을 치르는 것은 꼭 필요할 때뿐입니다.

네 가지 조합은 실제 시스템에서 이미 작동하고 있습니다. 공통점은 두 길이 서로 다른 요인에 작용한다는 것입니다. 그래서 한쪽이 다른 쪽의 이득을 갉아먹지 않습니다.

연구에는 세 가지 마찰이 거듭 나타납니다. 두 길이 같은 자원을 두고 당길 때 생깁니다. 메모리, 정밀도, 그리고 심판을 얼마나 믿을 수 있느냐입니다.

종이 위에서는 솔깃합니다. 길마다 비용을 절반으로 줄인다면, 일곱 길이면 2⁷ = 128분의 1이 됩니다. 이것이 우리 가설 H6의 생각이고, 우리는 그 가능성을 35%로 봅니다.

하지만 암달의 법칙이라는 단순한 규칙이 열기를 식힙니다. 일의 한 부분을 빠르게 해도 도움이 되는 것은 그 부분뿐입니다. 순전히 설명을 위한 예입니다. 큰 모델이 전체 비용의 절반이고 그것을 10분의 1 비용으로 만들어도, 전체 비용은 90%가 아니라 45% 줄어듭니다. 100에서 50 + 5 = 55가 될 뿐입니다.

그러니 길들이 비용의 서로 다른 부분을 노릴 때(전문가와 비트) 이득은 곱해지고, 같은 부분을 노릴 때는 겹칩니다. 큰 모델을 피하는 캐스케이드는, 그 큰 모델이 전문가 덕분에 이미 싸졌다면 절약 효과가 줄어듭니다. 우리의 해석: 조합하면 길 하나보다 훨씬 큰 효과가 있지만, 하나씩 잰 이득을 곱한 값에는 확실히 못 미칩니다. 아직 아무도 제대로 재지 않았습니다.

H6 · 절약은 곱해진다 (35 %)

이 표는 해석이지 측정이 아닙니다. 근거가 된 연구는 거의 모두 한 번에 한 길만 시험합니다. gpt-oss나 Kimi K2처럼 여러 길을 조합한 시스템도, 섞은 가운데 각 길이 얼마나 기여했는지는 공개하지 않습니다.

아주 현실적인 비용 두 가지도 빠져 있습니다. 복잡성(길을 하나 더할 때마다 망가질 수 있는 부품이 하나 늘어납니다)과 요청 묶음 처리입니다. 서버는 비슷한 질문을 한꺼번에 많이 처리할 때 효율적입니다. 배분 결정이나 깊이 조절을 할 때마다 그 묶음이 조금씩 흩어집니다.

간단한 실험으로 결론을 낼 수 있습니다. 공개 모델 하나를 골라 길을 하나씩, 여러 순서로 더하면서, 매번 같은 벤치마크에서 정답 하나당 비용을 재는 것입니다.

이득이 곱해진다면 순서는 상관없고, 마지막에 더한 것도 처음 것만큼 효과가 있습니다. 겹친다면 더할 때마다 효과가 이전보다 작아집니다. 이 곡선은 어떤 표보다도 잘, 어느 길부터 시작해야 할지 알려 줄 것입니다.