Profundización · Folio II
Una biblioteca no es mejor por tener más libros. Lo es cuando se han retirado los duplicados, las páginas rotas y los libros que ya nos sabemos de memoria. ¿Se puede hacer lo mismo con los datos de una IA?
Los grandes corpus vienen de la web: muchas repeticiones, páginas vacías de sentido, textos casi idénticos. Cada texto inútil cuesta cálculo, energía y, como vimos en la parte I, capacidad de memoria del modelo.
Podar es elegir qué se conserva. La pregunta no es «¿cuántos datos?», sino «¿qué datos?».
Quitar el ruido: un pequeño clasificador puntúa cada texto (por ejemplo, su valor educativo) y solo se conservan los mejores. Quitar los duplicados de sentido: cada texto se coloca en un espacio donde los textos de sentido parecido son vecinos, y se conserva un representante por grupo. Quitar lo que el modelo ya sabe: conservar los ejemplos que todavía le enseñan algo.
Todo el arte está en la medida: una buena puntuación permite descartar mucho sin perder nada; una mala tira tesoros.
Fig. B — El tamiz
útil duplicado ruido
Esquema ilustrativo: muestra la idea, no mediciones.
Normalmente, el error baja despacio al añadir datos (una «ley de potencia»). Sorscher y sus coautores muestran que, con una buena medida de poda, puede bajar exponencialmente, es decir, mucho más rápido. Probado en visión (CIFAR-10, ImageNet), con una medida barata que ni siquiera necesita etiquetas.
Fuente: Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
Un resultado sutil: cuando hay pocos datos, conviene conservar los ejemplos fáciles; cuando hay muchos, los difíciles. Dicho de otro modo, una vez adquiridas las bases, los casos raros y duros son los que más enseñan.
Fuente: Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
SemDeDup (Meta) retira textos o imágenes casi idénticos en sentido. En un gran corpus de imágenes, retirar el 50 % de los datos casi no cuesta rendimiento y reduce a la mitad el tiempo de entrenamiento. Con texto (C4), la ganancia de eficiencia ronda el 15 %.
FineWeb-Edu (Hugging Face) puntúa de 0 a 5 el valor educativo de cada página web con un pequeño modelo entrenado con los juicios de Llama 3 70B. Solo conserva las notas ≥ 3: 1,3 billones de tokens de 15. Resultado: 33,6 % en MMLU con solo 38 000 millones de tokens, cuando el mejor competidor necesitaba 300 000 millones.
Fuente: Penedo et al., The FineWeb Datasets (Hugging Face, 2024)
Un filtro tiene los gustos de quien lo entrenó. El de FineWeb-Edu favorece claramente los temas escolares y la escritura formal: se gana calidad y se pierde diversidad. Los entrenamientos muy largos necesitan además suficientes textos únicos, y los filtros demasiado estrictos acaban quedándose cortos. Por último, la mayoría de los resultados espectaculares sobre la curva exponencial vienen de la imagen, no todavía del texto a gran escala.
Fuente: Penedo et al., The FineWeb Datasets (Hugging Face, 2024)
El resultado «fáciles cuando escasean, difíciles cuando abundan» es un apoyo directo a H3 y H4: una vez aprendidas las reglas, las excepciones valen oro. Una buena poda se parece a nuestra idea de compresión: conservar las reglas y lo que se les escapa, descartar el resto. Lo que falta todavía: una medida capaz de distinguir una excepción valiosa de simple ruido, porque ambos son «sorprendentes».
H3 · Reglas + excepciones = compresión (35 %) H4 · Las excepciones son el ancla (65 %)
En un corpus pequeño, comparar tres tamices: por calidad, por duplicados de sentido y un tamiz «reglas + excepciones» que conserve un ejemplo típico por grupo más todos los casos que se apartan de él. Y ver cuál retiene mejor los casos raros.