유망
FrugalGPT: 적은 비용으로 GPT-4의 품질
자체 시험에서 학습된 캐스케이드는 최대 98% 낮은 비용으로 GPT-4와 맞먹었고, 같은 비용이라면 정확도에서 GPT-4를 4점 앞섰습니다. 연구의 출발점은 모델마다 가격이 최대 두 자릿수나 차이 난다는 관찰입니다.
심화 · 제IV장
먼저 작은 모델에게 묻기
가시 하나 박혔다고 외과의를 부르지는 않습니다. 그런데 많은 AI 서비스는 쉬운 질문이든 어려운 질문이든 모두 가장 큰 모델로 보냅니다. 캐스케이드는 순서를 바꿉니다. 가장 싼 모델이 먼저 해 봅니다.
핵심만 간단히
질문의 난이도는 제각각입니다. '이탈리아의 수도는?'에 어려운 증명과 같은 모델이 필요하지는 않습니다. 캐스케이드는 모델을 싼 순서로 세우고, 답이 충분해지는 순간 멈춥니다.
배분기는 같은 일을 한 번에 합니다. 질문을 읽고, 답하기 전에 어느 모델이면 충분할지 예측합니다.
어떻게 작동하나
모든 것은 답을 받아들일지 정하는 심판에 달려 있습니다. FrugalGPT(스탠퍼드, 2023)에서는 답이 맞는지 가늠하도록 학습한 작은 채점 모델이 심판을 맡습니다. 캐스케이드는 모델의 가장 좋은 순서와 단계마다의 기준값을 배웁니다.
심판은 다음 단계보다 훨씬 싸야 합니다. 그렇지 않으면 아끼려던 것을 잃습니다. 또 실패한 시도에도 값을 치릅니다. 꼭대기까지 올라간 질문은 처음부터 거기로 간 경우보다 더 비쌉니다.
출처: Chen, Zaharia & Zou, FrugalGPT (2023)
그림 G — 모델의 사다리
- 큰 모델× 20
- 중간 모델× 5
- 작은 모델× 1
질문:12345678
질문당 평균 비용: 5.4 · 모두 큰 모델로 보내면: 20 · −73 %
설명용 그림입니다. 개념을 보여 줄 뿐 측정값이 아닙니다.
숫자가 말하는 것
유망
RouteLLM: 답하기 전에 정하기
사람의 선호(Chatbot Arena)로 학습한 배분기가 질문마다 강한 모델과 약한 모델 중 하나를 고릅니다. MT Bench에서 캐스케이드의 기다림 없이 GPT-4 품질의 95%를 3.66분의 1 비용으로 유지했습니다.
확립
추측 디코딩: 단어마다의 캐스케이드
같은 생각을 가장 작은 규모에서 씁니다. 작은 모델이 다음 단어들을 제안하고 큰 모델은 확인만 합니다. 이때 결과는 큰 모델 혼자 쓴 것과 똑같음이 보장되고, 2~3배 빨라집니다. 검증 심화 페이지도 보세요.
출처: Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)
한계
심판도 틀릴 수 있습니다. 사다리 아래에서 받아들여진 틀린 답은 다시는 고쳐지지 않습니다. 기다림: 세 칸을 오르는 질문은 답을 세 번 기다립니다. 또 답을 쓸지 모르는 동안에는 단어 하나씩 보여 주기도 어렵습니다. 어긋남: 한 종류의 질문에 맞춰 조정한 배분기는 사용자가 다른 것을 묻기 시작하면 잘 맞지 않을 수 있습니다.
우리 가설에 주는 의미
H6의 두 번째 요인, 즉 큰 모델까지 가는 질문의 비율입니다. 그리고 H2 '위를 배우고 아래를 참조한다'의 직접적인 메아리이기도 합니다. 캐스케이드는 모델의 위계로, 싼 모델로 부족할 때만 비싼 모델에 묻습니다.
시험해 보고 싶은 것
독자가 OrigoTech에 대해 할 법한 질문을 세 단계(기사 하나에 있는 사실, 기사 사이의 연결, 진짜 추론)로 나누고, 작은 모델이 혼자 맞히는 비율을 재 보고 싶습니다. 절반을 넘는다면 우리 같은 사이트에도 실제 이득이 있는 셈입니다.