La IA del mañana Glosario
ES

← Volver al cuaderno

Profundización · Método

Cómo funcionan nuestros experimentos sobre H1

Una guía en lenguaje sencillo de nuestras pequeñas pruebas: qué es el modelo, qué es una etiqueta, por qué la mezclamos y cómo leer un resultado nulo.

Especulativo actualizado el

I

Qué entrenamos realmente

Un modelo de lenguaje diminuto: dos capas, 64 números de ancho, que parte de valores aleatorios y por tanto no sabe nada. Lee el texto byte a byte y aprende a adivinar el siguiente. Lo entrenamos durante unos cientos de pasos con los primeros 96 bytes de mensajes antiguos de grupos de noticias, 300 por categoría, lo que lleva menos de un minuto en una GPU.

Las pruebas posteriores usan un modelo más grande: cuatro capas, 128 números de ancho, con la misma receta de entrenamiento. Sigue siendo pequeño frente a un modelo de lenguaje real.

II

Las etiquetas

Antes de cada fragmento escribimos dos o tres símbolos adicionales. Con ninguna etiqueta están en blanco. Con una etiqueta plana cada categoría tiene su propio símbolo. Con una jerarquía el primer símbolo nombra un grupo (por ejemplo informática u ocio) y los siguientes lo van acotando. Un código mezclado tiene la misma forma pero asigna los códigos a las categorías equivocadas. También probamos el grupo solo y, en la taxonomía de tres niveles, el tema solo y tema más subtema.

III

Por qué mezclamos

Una jerarquía lleva dos cosas: información (a qué categoría pertenece un texto) y estructura (qué categorías son hermanas). Un código mezclado lleva la misma información, pero sus grupos no significan nada. Si la jerarquía verdadera supera a las etiquetas mezcladas, lo que ayuda es la estructura; si no, cualquier código sirve igual. Como una sola mezcla podría ser suerte, repetimos con cinco y descartamos cualquiera que conserve los grupos reales.

IV

Cómo puntuamos

Medimos la pérdida en mensajes reservados, en nats por byte (menos es mejor). Un modelo que adivinara cada byte al azar sacaría cerca de 5,5; los nuestros terminan cerca de 2,5. Dentro de una semilla, todas las condiciones reciben los mismos datos, los mismos lotes y los mismos valores iniciales, así que solo cambia la etiqueta. Para ver si el modelo usa realmente su etiqueta, lo puntuamos también con la etiqueta borrada: es una ablación, y la diferencia entre ambas puntuaciones indica cuánto depende de ella.

V

Menos datos, más pasadas

En las pruebas con pocos datos conservamos solo los primeros 30, 100 o 300 mensajes de cada categoría; los conjuntos pequeños están contenidos en los grandes y cada tamaño se puntúa con los mismos 640 mensajes reservados, de modo que las pérdidas son comparables. El número de pasos sigue siendo 800, así que un conjunto pequeño se ve muchas veces: unas 80 con 30 mensajes por categoría. Un modelo que ve tantas veces los mismos pocos ejemplos empieza a aprenderlos de memoria: es el sobreajuste, y se nota en una pérdida sobre los mensajes reservados que vuelve a subir (de 2,78 a 4,12 en nuestro barrido).

VI

Frenos contra el sobreajuste

Para limitar el sobreajuste añadimos dos frenos habituales, llamados regularización. El dropout de 0,2 apaga unidades de la red al azar en cada paso de entrenamiento, de modo que ningún camino único pueda memorizar un ejemplo. El decaimiento de pesos de 0,1 atrae los pesos hacia valores pequeños en cada paso. Usamos un solo ajuste, elegido una vez y sin optimizar, igual para todas las condiciones. La pérdida sobre los mensajes reservados se mide siempre sin dropout.

Las pruebas con modelo más grande parten de los mismos 0,2 y 0,1, y luego usan un ajuste más fuerte, dropout 0,3 y decaimiento de pesos 0,3, para comprobar si el modelo mayor se aprendía los ejemplos de memoria. Seguimos sin afinar nada.

VII

Primero las predicciones

Cada protocolo y sus predicciones se escriben antes de la ejecución. La revisión del conjunto de datos queda fijada, el test oficial no se usa nunca y el código se identifica con una huella en el archivo de resultados. Un resultado nulo se publica como cualquier otro.

En un protocolo también listamos de antemano las celdas que leeremos: una celda es una combinación de tamaño de datos y número de pasos. Una celda preregistrada se fija antes de la ejecución. En las pruebas de réplica las cuatro celdas se registraron antes de la ejecución, pero se eligieron tras ver una prueba anterior; lo decimos, porque un lector debe fiarse algo menos de ellas.

VIII

Material o no

Los códigos mezclados no dan todos la misma pérdida: su rango, del mejor al peor de los cinco (promediado sobre las semillas), mide el ruido que procede solo del código. Decimos que una diferencia es material cuando la jerarquía verdadera supera la media de los códigos mezclados en más que ese rango. Por debajo, la diferencia podría deberse a qué mezcla nos tocó, y hablamos de una tendencia no material. Otra cifra, la diferencia de uso de la etiqueta, es el aumento de la pérdida al ocultar la etiqueta: dice si el modelo la usa, no si la jerarquía es mejor que unos códigos mezclados.

IX

Mundos de juguete para H2

Los pilotos de H2 usan un mundo de juguete en lugar de texto: hechos aleatorios y una regla (suma módulo 10) que exige dos o tres de ellos, para distinguir lo que un modelo ha memorizado de lo que ha calculado. Como en H1, las predicciones se escriben antes de cada ejecución y el tamaño juzgado se fija de antemano. En la mayoría de los pilotos la memoria es un oráculo: los hechos correctos se ponen en el contexto, de modo que se ignoran el coste y los errores de la búsqueda; solo los pilotos 4 y 6 corrompen la recuperación, por sustitución aleatoria o por distractores aleatorios. Detalles y cifras: pilotos de H2.

X

Cómo leer un resultado

Diferencias de una o dos milésimas de nat por byte son menores que la variación entre semillas o entre códigos mezclados, así que no afirmamos significación y nunca las convertimos en un porcentaje de datos ahorrados. Qué nos haría cambiar de opinión: que la jerarquía verdadera quedara primera de forma constante, con una diferencia mayor que esa dispersión, y después lo mismo en un modelo preentrenado más grande.

XI

Archivos

Cada cifra de estas notas procede de un archivo que puedes descargar. Entrenamiento más largo: resultados y protocolo. Cinco códigos mezclados: resultados y protocolo. Taxonomía de tres niveles: resultados y protocolo. Los resultados están en JSON; los protocolos, en Markdown.

Pruebas posteriores: Barrido del tamaño de los datos: resultados y protocolo. Pocos datos regularizados: resultados y protocolo. Réplica con semillas nuevas: resultados y protocolo. Otras categorías: resultados y protocolo. Mismos formatos.

Modelo más grande: resultados y protocolo. Modelo más grande, otras categorías: resultados y protocolo. Modelo más grande, regularización más fuerte: resultados y protocolo. Mismos formatos.

Volver arriba