Ordem estrita
Ordenar do fácil ao difícil pela diversidade do vocabulário dá +1,8% de precisão média com 17,9% menos etapas.
Aprofundamento · Folio II
Aprender em ordem
Ninguém aprende a ler com Proust. Mesmo assim, os modelos são treinados com tudo misturado ao acaso. O que acontece se apresentarmos os textos do mais simples ao mais difícil?
A ideia, de forma simples
Hoje, os bilhões de textos de treinamento são misturados ao acaso e lidos uma única vez. Um texto infantil pode vir logo depois de um artigo de matemática avançada.
O curriculum learning (aprendizado por currículo), proposto por Yoshua Bengio em 2009, parte de uma intuição escolar: começar pelo fácil e subir aos poucos. É uma hierarquia no tempo: os dados não mudam, só a ordem.
Como se faz
São precisos três ingredientes. Uma medida de dificuldade: uma máquina não sabe o que é "difícil", precisa de um indicador calculável. Um ritmo: pular de uma vez do fácil ao difícil ou subir uma rampa suave. Um momento: ordenar o treinamento inteiro ou só o começo.
O estudo de Zhang e coautores (EACL 2026) testou 15 medidas e ficou com seis. As mais úteis: a taxa de compressão (um texto que se comprime bem é repetitivo, logo fácil), a diversidade do vocabulário (MTLD) e o tamanho do texto. A perplexidade, isto é, a surpresa do modelo, ajuda no início e depois derruba os resultados: textos "surpreendentes" muitas vezes são só ruído.
Fonte: Zhang et al., Beyond Random Sampling (EACL 2026)
Fig. A — Duas esteiras
Aleatório
Ordenado
Esquema ilustrativo: mostra a ideia, não medições.
O que os experimentos mostram
Mais de 200 treinamentos, sobretudo com modelos de 0,5 bilhão de parâmetros e 10 bilhões de tokens, com uma verificação em 1 bilhão de parâmetros.
Uma rampa suave
Com ritmo linear, a taxa de compressão chega ao melhor nível de referência com 39,5% menos etapas. Na versão intercalada, o ganho sobe para 41,7%.
Aquecer e depois misturar
Ordenar só o começo e depois voltar ao acaso deixa uma vantagem duradoura: até +3,5% com 0,5 bilhão de parâmetros e +3,2% com 1 bilhão.
É mesmo a ordem que conta
Controle decisivo: misturar ao acaso os mesmos dados "fáceis" ajuda um pouco, mas menos do que apresentá-los em ordem. O ganho, portanto, não vem só da seleção.
O contraponto
Outro estudo (modelos de 14 a 410 milhões de parâmetros, 300 bilhões de tokens) conclui que a ordem estabiliza sobretudo os modelos pequenos e que a vantagem diminui com o tamanho.
Fonte: Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)
A ordem inversa da indústria
Os laboratórios muitas vezes fazem o contrário de um currículo escolar: guardam os melhores dados para o final. O OLMo 2 (Ai2) dedica os últimos 5% a 10% de processamento a uma mistura de alta qualidade (matemática, ciências, perguntas e respostas). Isso se chama mid-training ou "recozimento".
Mas até esse posicionamento é discutido: um estudo de 2025 mostra que o finalzinho nem sempre é o melhor momento, e explica por que um recozimento com exercícios de matemática ajudou o Llama 3 de 8 bilhões de parâmetros, mas não o de 405 bilhões. A boa ordem depende do momento do aprendizado, não só dos dados.
Fonte: OLMo et al., 2 OLMo 2 Furious (Ai2, 2025), Predicting Training Re-evaluation Curves (2025)
Os limites
Esses resultados vêm de modelos de porte médio, só em inglês. A dificuldade é calculada uma vez, antes do treinamento: não se adapta ao que o modelo já sabe. E os ganhos, reais, ficam em poucos pontos percentuais.
O que isso muda para nossas hipóteses
É um apoio modesto à hipótese H1: estruturar os dados ajuda, sobretudo no início. Mas a "dificuldade" medida aqui tem uma só dimensão (curto ou longo, simples ou variado). Nossa ideia é mais rica: níveis de abstração (observação, fato, regra, princípio). Pelo que sabemos, ninguém ainda ordenou um treinamento por esses níveis.
H1 · O apetite por dados vem em parte de uma hierarquia ausente (55 %)
O que gostaríamos de testar
Dois currículos opostos em um minimodelo: primeiro os exemplos, depois a regra (como uma criança), contra primeiro a regra, depois os exemplos (como um livro didático). E um currículo adaptativo: medir o que o modelo já sabe e lhe dar o degrau seguinte.