Aprofundamento · Folio II
Uma biblioteca não é melhor por ter mais livros. Ela é melhor quando se tiram as duplicatas, as páginas rasgadas e os livros que já sabemos de cor. Dá para fazer o mesmo com os dados de uma IA?
Os grandes corpus vêm da web: muita repetição, páginas sem sentido, textos quase idênticos. Cada texto inútil custa processamento, energia e, como vimos na parte I, capacidade de memória do modelo.
Podar é escolher o que guardar. A pergunta não é "quantos dados?", e sim "quais dados?".
Tirar o ruído: um pequeno classificador dá uma nota a cada texto (por exemplo, seu valor educativo) e só os melhores ficam. Tirar as duplicatas de sentido: cada texto é colocado em um espaço onde textos de sentido parecido ficam vizinhos, e fica um representante por grupo. Tirar o que o modelo já sabe: guardar os exemplos que ainda lhe ensinam algo.
Toda a arte está na medida: uma boa nota permite descartar muito sem perder nada; uma ruim joga tesouros fora.
Fig. B — A peneira
útil duplicata ruído
Esquema ilustrativo: mostra a ideia, não medições.
Normalmente, o erro cai devagar quando se acrescentam dados (uma "lei de potência"). Sorscher e coautores mostram que, com uma boa medida de poda, ele pode cair exponencialmente, ou seja, muito mais rápido. Testado em visão (CIFAR-10, ImageNet), com uma medida barata que nem precisa de rótulos.
Fonte: Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
Um resultado sutil: quando há poucos dados, vale guardar os exemplos fáceis; quando há muitos, os difíceis. Em outras palavras, depois que a base está construída, são os casos raros e duros que mais ensinam.
Fonte: Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
O SemDeDup (Meta) remove textos ou imagens quase idênticos no sentido. Em um grande corpus de imagens, tirar 50% dos dados quase não custa desempenho e corta pela metade o tempo de treinamento. Em texto (C4), o ganho de eficiência fica em torno de 15%.
O FineWeb-Edu (Hugging Face) dá uma nota de 0 a 5 ao valor educativo de cada página da web, com um pequeno modelo treinado com os julgamentos do Llama 3 70B. Só guarda as notas ≥ 3: 1,3 trilhão de tokens de 15. Resultado: 33,6% no MMLU com apenas 38 bilhões de tokens, quando o melhor concorrente precisava de 300 bilhões.
Fonte: Penedo et al., The FineWeb Datasets (Hugging Face, 2024)
Um filtro tem o gosto de quem o treinou. O do FineWeb-Edu favorece claramente temas escolares e escrita formal: ganha-se qualidade e perde-se diversidade. Treinamentos muito longos também precisam de textos únicos suficientes, e filtros rígidos demais acabam ficando sem. Por fim, a maior parte dos resultados espetaculares sobre a curva exponencial vem de imagens, ainda não de texto em grande escala.
Fonte: Penedo et al., The FineWeb Datasets (Hugging Face, 2024)
O resultado "fáceis quando faltam, difíceis quando sobram" é um apoio direto a H3 e H4: depois que as regras são aprendidas, as exceções valem ouro. Uma boa poda se parece com nossa ideia de compressão: guardar as regras e o que escapa delas, descartar o resto. O que ainda falta: uma medida capaz de distinguir uma exceção preciosa de simples ruído, já que os dois são "surpreendentes".
H3 · Regras + exceções = compressão (35 %) H4 · As exceções são a âncora (65 %)
Em um corpus pequeno, comparar três peneiras: por qualidade, por duplicatas de sentido e uma peneira "regras + exceções" que guarda um exemplo típico por grupo mais todos os casos que se afastam dele. Depois ver qual preserva melhor os casos raros.