Aprendizado por reforço
Aprender por tentativa e erro: o modelo tenta, uma nota o recompensa ou não, e ele ajusta os parâmetros para tirar notas melhores. É assim que muitos modelos de raciocínio são treinados.
Glossário · A IA de amanhã
Glossário
As palavras técnicas do caderno, explicadas de forma simples. Nas páginas, a primeira aparição de cada termo vem sublinhada com pontinhos e leva até aqui.
Cascata (e encaminhador)
Pergunta-se primeiro a um modelo pequeno e barato, e só se sobe para o grande se a resposta não convencer. O encaminhador é o programa que decide para onde vai cada pergunta. Numa mistura de especialistas, um encaminhador escolhe da mesma forma quais especialistas acender.
Colapso (model collapse)
O que acontece quando modelos aprendem sobretudo com textos escritos por outros modelos: os casos raros somem primeiro, e depois a qualidade piora de geração em geração.
Decodificação especulativa
Um modelo pequeno propõe várias palavras adiantadas, e o grande confere todas numa única passada. O texto final é o mesmo do modelo grande, mas sai mais rápido.
Destilação
Passar o saber de um grande modelo "professor" para um menor, o "aluno", treinando o aluno com as respostas do professor. Neste caderno também falamos em destilar o saber em programas.
Inferência
O uso do modelo depois de treinado: responder a uma pergunta. Esse custo é pago a cada resposta, daí o interesse em reduzi-lo.
Lei de Amdahl
Acelerar uma parte de um trabalho só ajuda nessa parte. Se uma etapa leva metade do tempo, mesmo torná-la instantânea só economiza metade.
Lei de escala
Uma relação medida entre o tamanho de um modelo, a quantidade de dados e a qualidade obtida. Ela permite prever o resultado de um grande treinamento a partir de pequenos.
Memória externa
Uma base de textos ou fichas que o modelo consulta em vez de guardar tudo nos parâmetros, como quem abre um dicionário em vez de decorá-lo.
Mistura de especialistas (MoE)
Um modelo dividido em muitas sub-redes, os "especialistas". Para cada token, um pequeno encaminhador acende só alguns: muito saber para pouco cálculo.
Muro da memória
Num computador, mover um número entre a memória e a unidade de cálculo custa muito mais energia e tempo do que o próprio cálculo. É um dos principais freios dos grandes modelos.
Parâmetro (peso)
Um número ajustado durante o treinamento. Um modelo tem bilhões deles, e é o conjunto que forma o seu saber. Imagem: os bilhões de botõezinhos de uma enorme mesa de som.
Perda (loss)
A nota de erro do modelo durante o treinamento: quanto mais baixa, melhor ele adivinha a continuação. Muitas vezes se comparam dois métodos "com a mesma perda".
Quantização (menos bits)
Escrever cada número do modelo com menos bits. Em 16 bits, um número pode assumir 65 536 valores; em 4 bits, só 16. É como arredondar preços para o real: mais leve, um pouco menos preciso.
Teste de referência (benchmark)
Uma série de perguntas com respostas conhecidas, para comparar modelos com as mesmas regras. MMLU, GSM8K e AIME são exemplos.
Token
O pedaço de texto que um modelo lê: muitas vezes uma palavra curta ou um pedaço de palavra. "Inacreditavelmente" pode virar três tokens. Volumes de dados e preços são contados em tokens.
Treinamento
A fase em que o modelo aprende: ele lê textos, adivinha a continuação e seus parâmetros são corrigidos a cada erro. É longo e caro, mas se faz uma vez só.
Verificador (juiz)
O que diz se uma resposta está certa: testes para código, uma conta para matemática, ou outro modelo. Verificar costuma ser muito mais fácil do que encontrar.