La IA del mañana Glosario
ES

← Volver al cuaderno

Profundización · Hipótesis

H2 a prueba: nuestros pilotos de juguete

Diez pilotos de juguete sobre H2, aprender lo alto y consultar lo bajo: se cumplen 34 de 51 predicciones preregistradas y en los pilotos 4 a 7 la mayoría de las falsas son fallos de aprendizaje, no refutaciones. Un modelo diminuto, una regla inventada, una memoria ideal en la mayoría de los casos: no son prueba sobre los modelos de lenguaje reales.

Especulativo actualizado el

I

La pregunta

H2 dice que los parámetros son escasos y conviene reservarlos para razonar, mientras los hechos van a una memoria externa. Antes de tocar un modelo real construimos un mundo de juguete: 1024 entidades, cada una con un dígito aleatorio (su hecho), y una regla que suma los dígitos de dos entidades módulo 10 (tres entidades en el quinto piloto). Los pares de prueba nunca aparecen en el entrenamiento, así que el modelo debe aplicar la regla, no recitarla.

El modelo es un transformador de 2 capas y anchura 64, entrenado durante 2000 actualizaciones. Cada cifra es una media de 5 semillas, el azar vale 0,1 y el tamaño juzgado es 1024 entidades (256 se informa, no se juzga). Las predicciones se escribieron antes de cada ejecución; desde el segundo piloto se escribieron tras ver los anteriores, así que no son ciegas. Los datos públicos están también en [la página del laboratorio](https://huggingface.co/spaces/Kyyzen01/OrigoTech-AI-Research-Lab). Los pilotos 6 a 10 reutilizan el mismo modelo y el mismo mundo; la duración del entrenamiento varía (de 2000 a 4000 actualizaciones, más un ajuste fino en el piloto 10), como indica cada protocolo.

II

Piloto 1: hechos en los pesos o en una memoria

Con 64 entidades, las tres condiciones alcanzan al menos 0,9985 en pares reservados. Con 1024, un modelo que guarda los hechos en sus pesos los recuerda a la perfección (exactitud de hechos 1,0000) pero obtiene 0,0973 en pares reservados, y 0,1235 con unas 2,6 veces más parámetros (anchura 128): cerca del azar. El mismo modelo obtiene 1,0000 cuando una memoria ideal pone los dos hechos en su contexto. Se cumplieron las 5 predicciones. Detalles: resultados, protocolo.

Fuente: OrigoTech, H2 toy pilot 1: facts in the weights or in a memory (results, JSON; protocol alongside)

III

Piloto 2: pasos explícitos o entrenamiento más largo

Si el modelo escribe primero los dos hechos y luego los suma (pasos explícitos, supervisados en el entrenamiento), alcanza 1,0000 con 1024 entidades sin ninguna memoria. Duplicar el entrenamiento a 4000 actualizaciones deja en cambio al modelo simple en 0,1285 (0,1018 a las 2000). Con 256 entidades, la ejecución más larga alcanza 0,9393, desde 0,4710 a las 2000 actualizaciones, con semillas de 0,6965 a 1,0000. Así, en este juguete no hace falta una memoria para componer, pero los pasos están supervisados, lo que no dice nada de los modelos reales. Se cumplieron las 5 predicciones. Detalles: resultados, protocolo.

Fuente: OrigoTech, H2 toy pilot 2: explicit steps or longer training (results, JSON; protocol alongside)

IV

Piloto 3: actualizar hechos

Con los hechos en el contexto, los hechos editados obtienen 1,0000 y las entidades nunca vistas en el entrenamiento 1,0000, frente a 0,1066 y 0,1008 del modelo sin memoria. Ajustar los pesos solo con las ediciones, durante 200 actualizaciones, llega a 0,2376 en los hechos editados, mientras la exactitud en los hechos intactos cae de 1,0000 a 0,1337. Con repetición de los hechos antiguos, los hechos intactos se mantienen en 0,9975, pero los editados solo llegan a 0,3399. Se cumplieron 5 de 6 predicciones; la falsa esperaba que la edición se absorbiera en 200 actualizaciones. Una sola receta de ajuste fino, sin editor de conocimiento dedicado. Detalles: resultados, protocolo.

Fuente: OrigoTech, H2 toy pilot 3: updating facts (results, JSON; protocol alongside)

V

Piloto 4: recuperación imperfecta

Cada elemento recuperado se sustituye, con probabilidad 1 − r, por el de otra entidad. Con r = 0,9, 0,7 y 0,5 la exactitud es 0,8366, 0,5604 y 0,3306, cercana a r² + (1 − r²) × 0,1 (0,829, 0,541, 0,325): los dos elementos deben ser correctos, si no la respuesta es azar. El modelo de pasos sin memoria obtiene 0,9997, así que el modelo con memoria queda más de 0,10 por debajo ya con r = 0,9. La prueba de distractores no concluye: un modelo entrenado con 4 distractores aleatorios no aprendió la regla (0,1163), de modo que lo que ocurre con 8 no puede leerse. Se cumplieron 3 de 5 predicciones; las dos falsas son fallos de aprendizaje. Sustitución aleatoria, no un buscador real; coste de la búsqueda sin medir. Detalles: resultados, protocolo.

Fuente: OrigoTech, H2 toy pilot 4: imperfect retrieval (results, JSON; protocol alongside)

VI

Piloto 5: tres hechos

Con tres hechos que sumar, una pasada obtiene 0,0989 y los pasos explícitos simples 0,1215, aunque los tres hechos se recuerdan con 0,9999. Añadir una suma parcial intermedia sube el resultado a 0,9998. El modelo de memoria externa promedia 0,2659 (semillas de 0,0985 a 0,9285): aprende muy tarde, y en esta ejecución solo una semilla de cinco aprendió la regla. Se cumplieron 3 de 5 predicciones; las dos falsas son fallos de aprendizaje en 2000 actualizaciones, lo que no es una prueba contra la composición. Una regla de juguete, un tamaño de modelo. Detalles: resultados, protocolo.

Fuente: OrigoTech, H2 toy pilot 5: three-fact composition (results, JSON; protocol alongside)

VII

Piloto 6: distractores y currículo

Aquí la memoria contiene además elementos distractores aleatorios. Con 4 distractores, un modelo entrenado durante 4000 actualizaciones alcanza 0,2456 en los pares reservados (semillas de 0,0955 a 0,7690), y uno entrenado con un currículo (0, luego 2, luego 4 distractores) 0,3856 (0,1275 a 0,7440). Con 8 distractores el modelo con currículo se queda en 0,1052, nivel del azar, frente a 0,9999 del mismo formato sin distractores. El control sobre los hechos recuperados falla en varias celdas (por ejemplo 0,1440 y 0,1666 con 8 distractores), así que los demás resultados no se pueden leer y la pregunta sigue abierta. Se cumplió 1 de 5 predicciones; las cuatro falsas son fallos de aprendizaje. La referencia limpia se entrena 2000 actualizaciones frente a 4000 (no emparejada). Solo distractores aleatorios. Detalles: resultados, protocolo.

Fuente: OrigoTech, H2 toy pilot 6: distractors and a curriculum (results, JSON; protocol alongside)

VIII

Piloto 7: tres hechos, entrenamiento más largo

Con tres hechos y 4000 actualizaciones, el modelo de memoria externa promedia 0,3286 (semillas de 0,0955 a 0,8415; ninguna llega a 0,90), frente a 0,1046 con 2000 actualizaciones. Empezar con dos hechos durante un calentamiento de 1500 actualizaciones eleva la media a 0,6981 (0,1230 a 0,9995; +0,3695 sobre la memoria sola), pero la dispersión entre semillas es grande. Los pasos explícitos simples, sin suma parcial, se quedan en 0,1645 (0,1030 a 0,2425). Los tres hechos se recuerdan con 1,0000 en las tres condiciones. Se cumplieron 2 de 5 predicciones (el currículo es al menos tan bueno como la memoria sola; los hechos se recuerdan). Las falsas son fallos de aprendizaje, con una celda debida a una semilla afortunada. Una duración de calentamiento, una regla de juguete. Detalles: resultados, protocolo.

Fuente: OrigoTech, H2 toy pilot 7: three facts, longer training (results, JSON; protocol alongside)

IX

Piloto 8: frecuentes en los pesos, raros en la memoria

Con entidades extraídas de una ley de Zipf (unas pocas frecuentes, muchas raras), el modelo sin memoria obtiene 0,9520 en pares de entidades frecuentes y 0,9260 en pares de entidades raras, así que los hechos raros también se aprenden en los pesos. El híbrido (hechos frecuentes en los pesos, raros en la memoria) obtiene 0,9904 y 0,9926, y el modelo con todo en memoria 1,0000 y 0,9999. Ponderado por la frecuencia, el híbrido queda 0,0024 por debajo de la memoria completa (0,9976 frente a 1,0000). Se cumplieron 3 de 5 predicciones; las dos falsas son que los hechos raros no se aprenderían en los pesos y que el híbrido sería al menos tan bueno como la memoria completa. Un solo reparto de Zipf; los hechos frecuentes pueden haberse memorizado en lugar de componerse. Recuperación ideal. Detalles: resultados, protocolo.

Fuente: OrigoTech, H2 toy pilot 8: frequent facts in the weights, rare ones in memory (results, JSON; protocol alongside)

X

Piloto 9: cuántos ejemplos de la regla

Entrenado con solo el 2 % o el 5 % de los pares, el modelo de memoria externa alcanza 1,0000 en los pares reservados (0,9977 con el 20 %, 1,0000 con todos). Sin memoria (pasos explícitos) alcanza 0,9998 con el 2 % pero 0,9132 con el 5 % (semillas de 0,5960 a 1,0000), frente a 0,9980 con todos los pares. Se cumplieron 4 de 5 predicciones; la falsa (más pares nunca perjudican) falla porque, sin memoria, el 2 % queda 0,0018 por encima del 100 %. La regla solo usa 100 parejas de dígitos, así que aquí bastan pocos ejemplos: es específico del juguete y no dice nada de los modelos reales. Recuperación ideal. Detalles: resultados, protocolo.

Fuente: OrigoTech, H2 toy pilot 9: how many rule examples (results, JSON; protocol alongside)

XI

Piloto 10: actualizaciones más largas o más fuertes

Tras 1000 actualizaciones, el ajuste fino sobre los hechos editados con repetición de los antiguos alcanza 0,5310 en los pares editados, y 0,8212 con una tasa de aprendizaje tres veces mayor (semillas de 0,6720 a 0,9665), mientras que los hechos intactos se mantienen en 0,9876. Sin repetición y con una tasa pequeña, los hechos intactos caen a 0,2092 y los pares editados solo llegan a 0,2138. Una parte mayor de filas editadas con repetición alcanza 0,4054, por debajo de la receta de repetición simple (diferencia −0,1256). Tras el ajuste fino, las entidades nunca vistas en el entrenamiento siguen en el azar (0,099 a 0,103), mientras que la memoria externa obtiene 0,9998 en los pares editados y 1,0000 en las entidades nuevas, sin ninguna actualización. Se cumplieron 3 de 5 predicciones; las falsas son que el olvido sería limitado sin repetición (0,2092, por debajo de los 0,50 esperados) y que una parte mayor de ediciones ayudaría. Cuatro recetas de ajuste fino, un valor cada una, sin búsqueda; sin editor de conocimiento dedicado. Detalles: resultados, protocolo.

Fuente: OrigoTech, H2 toy pilot 10: longer or stronger updates (results, JSON; protocol alongside)

XII

Lectura: lo que sugiere el mundo de juguete

En este mundo de juguete, componer muchos hechos almacenados de una pasada es lo difícil, y dos cosas lo resuelven: una memoria externa ideal, o escribir los hechos paso a paso. Lo que una memoria aporta con claridad es la actualización: inmediata con una memoria, lenta en los pesos y, sin repetición de los hechos antiguos, muy olvidadiza (con repetición y una tasa de aprendizaje mayor, las ediciones llegan a 0,8212 tras 1000 actualizaciones). Su ventaja disminuye cuando la recuperación empeora. Con tres hechos, escribir los hechos no basta y hace falta una suma intermedia; un calentamiento con dos hechos ayuda de media (0,6981 frente a 0,3286), pero las semillas difieren mucho. Un híbrido con los hechos frecuentes en los pesos no se distinguió de dejarlo todo en la memoria, y en este juguete bastaron pocos ejemplos de la regla. La cuestión de los distractores sigue abierta. Se cumplieron 34 de las 51 predicciones preregistradas (5 de 5, 5 de 5, 5 de 6, 3 de 5, 3 de 5, 1 de 5, 2 de 5, 3 de 5, 4 de 5 y 3 de 5); en los pilotos 4 a 7 la mayoría de las falsas son fallos de aprendizaje, no refutaciones, mientras que las de los pilotos 8 a 10 son resultados medidos.

XIII

Lo que no demuestran los datos

Un mundo de juguete: una regla (suma módulo 10), hechos aleatorios independientes, un modelo pequeño, 5 semillas. La recuperación es ideal, salvo en los pilotos 4 y 6, donde se corrompe por sustitución aleatoria o por distractores, y el coste de buscar no se mide. Los pasos explícitos son razonamiento supervisado, no demostrado en modelos de lenguaje reales. El tamaño 256 se informa pero no se juzga; no se hace ninguna prueba de significación ni se estima ningún porcentaje de datos ahorrados. Las predicciones posteriores al primer piloto se escribieron conociendo los resultados anteriores. El piloto 1 se ejecutó con 2000 actualizaciones tras detener por tiempo un primer intento con 3000, y una comprobación de duración en CPU, cuyas exactitudes vieron los autores, precedió al juicio. En el piloto 6 la referencia limpia se entrena 2000 actualizaciones frente a 4000 en las demás (no emparejada); los pilotos 7 y 8 usan una sola duración y un solo reparto cabeza/cola; el piloto 10 tiene cuatro recetas de ajuste fino con un valor cada una. Las 13 predicciones cumplidas en los pilotos 6 a 10 (de 25) también se escribieron conociendo los pilotos anteriores. Estos pilotos no validan ni refutan H2 para modelos reales: su confianza del 64 % no cambia.

Volver arriba