Profundización · Hipótesis
H1 a prueba: nuestros experimentos
La jerarquía ayuda al inicio con datos sintéticos; once pruebas con textos reales no muestran una ventaja material de la jerarquía verdadera sobre etiquetas mezcladas, solo una tendencia mínima que se reproduce. Consulta los protocolos y los límites.
La pregunta
H1 pregunta si la estructura de los datos permite aprender con menos ejemplos. Comparamos etiquetas ausentes, planas, jerárquicas y mezcladas con el mismo presupuesto.
H1 · El apetito de datos viene en parte de una jerarquía ausente (55 %)
Cuatro pilotos sintéticos
Tres semillas iniciales y cinco nuevas mostraron un aprendizaje inicial más rápido con jerarquía. Un control mezcló la estructura; otro cruzó cinco mezclas con cinco semillas. A 100 pasos la pérdida media fue 2,0061 frente a 2,0988; a 500, 2,0003 frente a 2,0045. Las cinco comparaciones por semilla comparten referencia y no son independientes.
Primer ensayo con textos reales
En ocho categorías de 20 Newsgroups, un pequeño modelo de bytes sin preentrenamiento se evaluó con 640 mensajes y tres semillas. A 200 pasos la pérdida fue 2,73333 con jerarquía real y 2,73326 con etiquetas mezcladas: sin ventaja clara. El test oficial sigue sin utilizarse. El modelo sin etiqueta obtuvo incluso la pérdida más baja (2,72897, frente a 2,73162 con la etiqueta plana): por ahora el modelo no usa las etiquetas, así que esta prueba no podía distinguir las dos jerarquías. Versiones más sólidas siguen en las secciones de abajo.
Fuente: SetFit, 20 Newsgroups dataset
Entrenamiento más largo, etiquetas retiradas
El primer piloto con textos reales se detuvo a 200 pasos, antes de que el modelo usara sus etiquetas. Entrenamos el mismo modelo pequeño durante 800 pasos (tres semillas, las mismas ocho categorías) y, en cada punto de control, lo evaluamos también con las etiquetas ocultas. Esa diferencia es cero en un modelo entrenado sin etiquetas; a 800 pasos vale de media 0,009 nats por byte para la etiqueta plana, 0,020 para el grupo solo, 0,025 para la jerarquía verdadera y 0,031 para las etiquetas mezcladas, así que ahora sí se usan las etiquetas.
Aun así, a 800 pasos la jerarquía verdadera y las etiquetas mezcladas alcanzan la misma pérdida, 2,5210 nats por byte, frente a 2,5292 sin etiqueta y 2,5170 solo con el grupo informática/ocio. Detalles: resultados, protocolo.
Fuente: OrigoTech, H1 real-text run: longer training with labels removed (results, JSON; protocol alongside)
Cinco códigos mezclados
Una sola mezcla podía ser cuestión de suerte. Repetimos la prueba con cinco códigos mezclados distintos, ninguno de los cuales conserva la separación informática/ocio, y cinco semillas. A 800 pasos la jerarquía verdadera alcanza 2,5279 y la media de los cinco códigos mezclados 2,5295: una diferencia de 0,0016 nats por byte.
La jerarquía verdadera supera esa media en cuatro semillas de cinco, pero su puesto entre los seis códigos va del primero al último (3.º, 1.º, 6.º, 1.º y 2.º), y solo los cinco códigos mezclados se dispersan unos 0,005. La diferencia es menor que esa dispersión, así que la leemos como un resultado nulo.
Fuente: OrigoTech, H1 real-text run: five scrambled codes (results, JSON; protocol alongside)
Una taxonomía de tres niveles
Dos grupos de cuatro categorías son una jerarquía escasa. Tomamos 16 grupos de noticias ordenados en tres niveles (4 temas, 8 subtemas, 16 hojas) y añadimos códigos parciales: solo el tema, después tema más subtema. A 800 pasos todas las variantes con código quedan entre 2,5187 y 2,5217 nats por byte, frente a 2,5153 sin ninguna etiqueta, que es el valor más bajo.
La jerarquía verdadera (2,5198) supera la media de cinco códigos mezclados (2,5206) por solo 0,0007, en cuatro semillas de cinco, de nuevo menos que la dispersión de 0,005 entre códigos mezclados. Añadir un nivel no ayuda con claridad: los pasos sucesivos (tema, luego subtema, luego hoja) cambian la pérdida en +0,0046, −0,0013 y +0,0012.
Fuente: OrigoTech, H1 real-text run: three-level taxonomy (results, JSON; protocol alongside)
Barrido del tamaño de los datos: 30, 100 y 300 por categoría
La idea de H1 es que la estructura debería ayudar sobre todo cuando los datos escasean, así que entrenamos el mismo modelo diminuto 800 pasos con 30, 100 y 300 mensajes por categoría (los conjuntos pequeños están contenidos en los grandes; cinco semillas, cinco códigos mezclados, las mismas ocho categorías) y escribimos tres predicciones de antemano. Con 300 por categoría reaparece el cuadro anterior: la jerarquía verdadera queda 0,0016 nats por byte por debajo de los códigos mezclados, menos que la dispersión de 0,0052 entre ellos (predicción 1, confirmada).
Con 30 por categoría el modelo sobreajusta: sin etiqueta, su pérdida en los mensajes reservados sube de 2,78 a 200 pasos a 4,12 a 800, porque repasa unas 80 veces los mismos 240 mensajes. La jerarquía verdadera queda 0,0124 por debajo de los códigos mezclados, en cuatro semillas de cinco, pero los propios códigos mezclados se dispersan 0,0891: la diferencia se pierde en el ruido (predicción 3, una diferencia clara con 30 por categoría, fallida). El modelo sí se apoya más en sus etiquetas cuando los datos escasean: la pérdida sube 0,1243 al ocultar la etiqueta de la jerarquía verdadera con 30 por categoría, frente a 0,0474 con 300 (predicción 2, confirmada). El modelo sin etiqueta sigue siendo el mejor con 30 y con 100 por categoría. Detalles: resultados, protocolo.
Regularización con pocos datos
El sobreajuste ocurre cuando el modelo aprende de memoria sus pocos ejemplos en lugar de lo que sirve para ejemplos nuevos. Repetimos la prueba con 30 y 100 por categoría con dos frenos habituales: un dropout de 0,2 (se apagan unidades al azar durante el entrenamiento) y un decaimiento de pesos de 0,1 (una atracción hacia valores pequeños). Mismas semillas y mismos códigos mezclados que en el barrido, y de nuevo tres predicciones escritas de antemano.
El sobreajuste baja: con 30 por categoría y 800 pasos la pérdida sin etiqueta es 2,8208, frente a 4,12 sin regularización (predicción 1, confirmada), y el aumento de pérdida al ocultar la etiqueta de la jerarquía verdadera pasa de 0,1243 a 0,0448 (predicción 2, confirmada). La dispersión entre códigos mezclados cae de 0,0891 a 0,0073. La jerarquía verdadera queda 0,0023 por debajo de ellos en cuatro semillas de cinco con 30 por categoría, y a la par (0,0000, tres semillas de cinco, dispersión 0,0020) con 100. La predicción 3 (al menos cuatro semillas de cinco y una diferencia mayor que la dispersión, con 30 o con 100) falla. Detalles: resultados, protocolo.
Réplica con semillas y permutaciones nuevas
La prueba anterior dejó un pequeño signo negativo: la jerarquía verdadera algo por debajo de los códigos mezclados a 200 y 400 pasos. Un signo puede ser casualidad, así que repetimos la prueba con cinco semillas nuevas y cinco códigos mezclados nuevos, con los mismos datos y ajustes. Vigilamos cuatro celdas (30 y 100 por categoría, a 200 y 400 pasos), elegidas tras ver la prueba anterior, lo que debilita el test. Se escribieron tres predicciones de antemano.
El signo es negativo en 4 celdas de 4 (predicción 1, confirmada), la jerarquía verdadera gana en al menos cuatro semillas de cinco en 3 celdas de 4 (predicción 2, confirmada) y ninguna celda muestra una diferencia material, es decir, mayor que la dispersión entre códigos mezclados (predicción 3, al menos dos celdas de cuatro, fallida: 0 de 4). Las diferencias van de 0,0001 a 0,0013 nats por byte, frente a dispersiones de 0,0012 a 0,0037. Detalles: resultados, protocolo.
Otras categorías: ciencia frente a política y sociedad
Hasta ahora, salvo la taxonomía de tres niveles, todas las pruebas usaron las mismas ocho categorías, cuatro de informática y cuatro de ocio. Repetimos la réplica con otra partición: cuatro grupos de ciencia (criptografía, electrónica, medicina, espacio) frente a cuatro de política y sociedad (armas, Oriente Próximo, política en general, religión cristiana), con semillas nuevas, códigos mezclados nuevos y los mismos ajustes. Una cuarta predicción comprueba que el modelo realmente usa sus etiquetas.
Resultado: el signo es negativo en 4 celdas de 4, la jerarquía verdadera gana en al menos cuatro semillas de cinco en 4 celdas de 4 y 0 celdas de 4 son materiales. La mayor diferencia es de 0,0016 nats por byte (30 por categoría, 400 pasos), frente a una dispersión de 0,0044. El control se cumple (predicción 4, confirmada): con 100 por categoría y 800 pasos, ocultar la etiqueta sube la pérdida 0,0103 con la jerarquía verdadera y 0,0110 con códigos mezclados, así que el modelo usa su etiqueta sea coherente o no. Detalles: resultados, protocolo.
Un modelo más grande: 4 capas, ancho 128
Todas las pruebas anteriores usaban el mismo modelo diminuto (2 capas, ancho 64). Si el beneficio de la jerarquía creciera con el tamaño del modelo, uno mayor lo mostraría, así que cambiamos solo la arquitectura: 4 capas, ancho 128, con las mismas ocho primeras categorías, 100 mensajes por categoría, cinco semillas, cinco códigos mezclados, dropout 0,2 y decaimiento de pesos 0,1 (sin reajustar). Las dos celdas leídas, 200 y 400 pasos, se fijaron de antemano; 800 pasos también se muestra, pero no estaba preregistrado.
La jerarquía verdadera queda 0,0006 por debajo de los códigos mezclados a 200 pasos y 0,0003 a 400 (diferencias de −0,0006 y −0,0003 nats por byte), frente a dispersiones de 0,0024 y 0,0062 entre códigos mezclados. Gana en tres semillas de cinco en ambas celdas, y 0 celdas de 2 son materiales. A 800 pasos (no preregistrado) el signo se invierte: +0,0005, una semilla de cinco, dispersión 0,0086. Así, la diferencia no crece con el tamaño del modelo. El modelo sí usa su etiqueta (ocultarla sube la pérdida 0,0191 a 800 pasos), pero el modelo sin etiqueta sigue siendo el mejor a 800 pasos: 2,3925, frente a 2,3980 de la jerarquía verdadera y 2,3975 de los códigos mezclados. Detalles: resultados, protocolo.
Modelo más grande, otras categorías
¿Depende el resultado de las categorías de informática y ocio? Mantuvimos el modelo más grande y cambiamos los datos por la otra partición: cuatro grupos de ciencia frente a cuatro de política y sociedad, con semillas nuevas y códigos mezclados nuevos. Mismas celdas, mismos ajustes.
La diferencia es −0,0004 a 200 pasos (tres semillas de cinco, dispersión 0,0018) y +0,0002 a 400 (dos semillas de cinco, dispersión 0,0050): una celda de 2 es negativa y 0 son materiales. A 800 pasos (no preregistrado) es −0,0015 (tres semillas de cinco), aún dentro de la dispersión de 0,0078. Ocultar la etiqueta sube la pérdida 0,0179 a 800 pasos, y el modelo sin etiqueta vuelve a ser el mejor (2,3672, frente a 2,3753 de la jerarquía verdadera). Detalles: resultados, protocolo.
Regularización más fuerte: dropout 0,3, decaimiento de pesos 0,3
El modelo más grande de la primera prueba pudo estar simplemente poco regularizado: con más capacidad, puede aprenderse de memoria sus mensajes de entrenamiento. Mantuvimos su modelo, sus datos y sus categorías y subimos los dos frenos a la vez, a dropout 0,3 y decaimiento de pesos 0,3 (así que no se pueden separar sus efectos), con cinco semillas nuevas y cinco códigos mezclados nuevos.
La diferencia es −0,0008 a 200 pasos (cinco semillas de cinco, dispersión 0,0017) y −0,0010 a 400 (cuatro semillas de cinco, dispersión 0,0032): ambas celdas son negativas, ganan en al menos cuatro semillas de cinco, y 0 son materiales. A 800 pasos (no preregistrado) el signo vuelve a ser positivo, +0,0011 (una semilla de cinco, dispersión 0,0042). El modelo sin etiqueta mejora: 2,3717 a 800 pasos, frente a 2,3925 en la primera prueba con modelo más grande (comparación no pareada, con otras semillas), lo que sugiere que aquella prueba estaba probablemente poco regularizada. Ocultar la etiqueta sube la pérdida 0,0116. Detalles: resultados, protocolo.
Lectura de conjunto: una tendencia no material, reproducida
Con tres conjuntos de semillas y dos conjuntos de categorías, la jerarquía verdadera queda muy ligeramente por debajo de los códigos mezclados entre 200 y 400 pasos: diferencias de unos 0,0002 a 0,0016 nats por byte, alrededor del 0,1 %, siempre por debajo de la dispersión entre códigos mezclados. Lo llamamos una tendencia no material, reproducida: el signo se repite, pero una diferencia menor que el ruido entre permutaciones no es un efecto que podamos afirmar.
Otro resultado importa tanto: el modelo sin etiqueta es mejor o igual en casi todas las celdas. Las etiquetas coherentes estorban algo menos que las falsas; no superan a la ausencia de etiqueta. Un análisis conjunto de las dos pruebas regularizadas con las primeras categorías (diez semillas, diez códigos mezclados) apunta en el mismo sentido, por ejemplo 10 semillas de 10 con 100 por categoría y 400 pasos, con una diferencia de 0,0006 frente a una dispersión de 0,0013. Es exploratorio: ningún protocolo lo previó y no es una prueba de significación.
Con el modelo más grande (tres pruebas), las diferencias a 200 y 400 pasos están entre −0,0010 y +0,0002 nats por byte; 0 de las 6 celdas son materiales, y la diferencia no crece con el tamaño del modelo. Una regularización más fuerte da el signo más regular (negativo en ambas celdas, con cinco y cuatro semillas de cinco), aún por debajo de la dispersión entre códigos mezclados. A 800 pasos, el modelo sin etiqueta es mejor o igual en las tres pruebas. Lo leemos como una tendencia débil y no material, y el modelo grande de la primera prueba probablemente estaba poco regularizado. No afirmamos significación ni un porcentaje de datos ahorrados; la confianza del 55 % en H1 no cambia.
Lo que no demuestran los datos
Los datos sintéticos favorecen deliberadamente la jerarquía. Las pruebas con textos reales usan un modelo de bytes diminuto, inicializado al azar y entrenado como máximo 800 pasos, sobre inicios breves de mensajes antiguos en inglés de un solo corpus, y solo tres estructuras de categorías (dos particiones en dos grupos de cuatro y una taxonomía de tres niveles), todas elegidas por nosotros; las etiquetas están presentes en la evaluación. Las cuatro celdas replicadas en las dos últimas pruebas se eligieron después de la prueba regularizada y no son independientes, porque las mismas semillas alimentan dos puntos de control. La regularización es un único ajuste, dropout 0,2 y decaimiento de pesos 0,1, no optimizado; las pruebas con modelo más grande solo añaden una arquitectura mayor (4 capas, ancho 128), que no es una ley de escala, y un ajuste más fuerte (dropout 0,3 y decaimiento de pesos 0,3, cambiados a la vez). Las comparaciones entre pruebas no son pareadas, con otras semillas. No hacemos ninguna prueba de significación, y estas pruebas no miden un porcentaje de datos ahorrados ni validan o refutan H1 para modelos grandes. La confianza del 55 % no cambia.
¿Y H10?
H10 sigue en pausa. El Space público contiene 14 exportaciones de experimentos y 1.034 valores numéricos; la serie completa tiene 15 rondas, detalladas en la página del traductor. No son hallazgos independientes ni una nota de calidad. También contiene protocolos y mediciones de H1.
Otras profundizaciones
- Aprender en orden
- Descartar con inteligencia
- Una memoria dentro del modelo
- El coste se vuelve logarítmico
- Pensar en ideas, no en palabras
- Encender solo una parte del modelo
- Preguntar primero al modelo pequeño
- Destilar en programas, no en modelos
- Calcular con menos bits
- Cambiar la máquina
- Verificar cuesta menos que escribir
- Cómo se combinan las siete pistas
- ¿Un modelo pequeño a la altura de un gigante?
- ¿Un modelo pequeño que progresa solo, en un ordenador corriente?
- Las hipótesis a prueba
- ¿Traducir un modelo y quedarse solo con lo necesario?
- Cómo funcionan nuestros experimentos sobre H1
- H2 a prueba: nuestros pilotos de juguete
Fuentes
- SetFit, 20 Newsgroups dataset
- OrigoTech, H1 real-text run: longer training with labels removed (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: five scrambled codes (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: three-level taxonomy (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: data-scale sweep, 30, 100 and 300 per category (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: regularized small data, dropout 0.2 and weight decay 0.1 (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: replication with new seeds and permutations (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: other category groups, science against politics and society (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: larger model, 4 layers and width 128 (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: larger model, other categories, science against politics and society (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: larger model, stronger regularization, dropout 0.3 and weight decay 0.3 (results, JSON; protocol alongside)
- OrigoTech AI Research Lab — H1, H2 and H10 results