Aprofundamento · Folio IV
Ninguém chama um cirurgião por causa de uma farpa. No entanto, muitos serviços de IA enviam cada pergunta, fácil ou difícil, para o seu maior modelo. As cascatas mudam a ordem: o modelo mais barato tenta primeiro.
As perguntas não são todas iguais. "Qual é a capital de Itália?" não precisa do mesmo modelo que uma demonstração difícil. Uma cascata ordena os modelos do mais barato ao mais caro e para assim que uma resposta chega.
Um encaminhador faz o mesmo de uma só vez: lê a pergunta e prevê, antes de qualquer resposta, que modelo vai chegar.
Tudo depende do juiz que decide se uma resposta é aceitável. No FrugalGPT (Stanford, 2023), é um pequeno modelo de pontuação treinado para estimar se uma resposta está certa; a cascata aprende a melhor ordem dos modelos e um limiar para cada passo.
O juiz precisa custar muito menos do que o passo seguinte, senão se perde o que se queria economizar. E cada tentativa falhada se paga: uma pergunta que sobe até ao topo custa mais do que se tivesse ido lá diretamente.
Fonte: Chen, Zaharia & Zou, FrugalGPT (2023)
Fig. G — A escada dos modelos
Perguntas:12345678
Custo médio por pergunta: 5,4 · tudo para o modelo grande: 20 · −73 %
Esquema ilustrativo: mostra a ideia, não medições.
Promissor
Nseus testes, a cascata aprendida iguala o GPT-4 com um custo até 98 % menor, ou supera o GPT-4 em 4 pontos de exatidão pelo mesmo preço. O estudo parte de uma constatação: os preços dos diferentes modelos diferem até duas ordens de grandeza.
Promissor
Um encaminhador treinado com preferências humanas (Chatbot Arena) escolhe, para cada pergunta, entre um modelo forte e um fraco. No MT Bench, mantém 95 % da qualidade do GPT-4 por 3,66 vezes menos, sem a espera de uma cascata.
Comprovado
A mesma ideia na menor escala: um modelo pequeno propõe as palavras seguintes e o grande só as verifica. Aqui o resultado é garantidamente idêntico ao do modelo grande sozinho, 2 a 3 vezes mais depressa. Ver o aprofundamento sobre a verificação.
Fonte: Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)
O juiz pode errar: uma resposta errada aceite no fundo da escada nunca é corrigida. A espera: uma pergunta que sobe três degraus espera três respostas, e uma cascata dificilmente pode mostrar a resposta palavra por palavra enquanto não sabe se a vai manter. A deriva: um encaminhador afinado para um tipo de perguntas pode ficar mal calibrado quando os usuários começam a perguntar outras coisas.
Segundo fator de H6: a parte das perguntas que chegam ao modelo grande. E um eco direto de H2, "aprender o topo, consultar a base": uma cascata é uma hierarquia de modelos, onde o mais caro só é consultado quando o mais barato não chega.
H6 · As economias se multiplicam (40 %) H2 · Aprender o alto, consultar o baixo (75 %)
Classificar as perguntas que os leitores poderiam fazer sobre a OrigoTech em três níveis (um fato num artigo, uma ligação entre artigos, um raciocínio de verdade) e medir que parte um modelo pequeno acerta sozinho. Acima de metade, o ganho seria real para um site como o nosso.