Profundización · Folio II
Un modelo clásico lee el texto en trocitos todos de la misma naturaleza, cortados de antemano por un diccionario fijo. Nosotros leemos letras, luego palabras, luego ideas. ¿Y si el modelo construyera él mismo esos pisos?
Antes del entrenamiento, una herramienta llamada tokenizer corta el texto en «tokens» según un diccionario fijo. El modelo nunca ve las letras y nunca razona a un nivel más alto que esos tokens: todo ocurre en un solo piso.
Los trabajos de esta página añaden pisos y, sobre todo, dejan que el modelo decida por sí mismo dónde cortar.
Imagine una fábrica con tres talleres. Un taller pequeño lee el texto letra a letra. Agrupa las letras en fragmentos y pasa esos paquetes a un gran taller central, que hace lo esencial del razonamiento sobre una secuencia mucho más corta. Un último taller pequeño vuelve a desplegar el resultado letra a letra.
La ganancia: el taller central, el más caro, trabaja con menos elementos. Y el corte sigue el contenido: un pasaje previsible forma un fragmento grande; uno difícil se corta en trozos finos. El cálculo va donde está la información.
Fig. C — De las letras a las ideas
Esquema ilustrativo: muestra la idea, no mediciones.
La unidad de pensamiento pasa a ser la frase entera, situada en SONAR, un espacio de significado compartido por 200 lenguas escritas y 76 habladas. El modelo predice la idea siguiente, no la palabra siguiente. Supera a un Llama 3.1 del mismo tamaño en resumen multilingüe, pero es menos fluido.
Se acabó el diccionario: el modelo lee bytes y los agrupa en «parches» de tamaño variable, cortados donde lo que sigue se vuelve imprevisible. Por primera vez iguala a los modelos basados en tokens, hasta 8000 millones de parámetros y 4 billones de bytes, y escala mejor con el mismo coste de inferencia.
Fuente: Pagnoni et al., Byte Latent Transformer (Meta, ACL 2025)
El corte es totalmente aprendido, sin ninguna regla dada. Por sí solo, el modelo inventa fragmentos de unos 4,5 a 5 bytes, comparables a los tokens clásicos. Con dos pisos, iguala a un modelo de tokens del doble de tamaño y gana casi 4 veces en eficiencia de datos con ADN.
Es justo el camino que sugería nuestra conclusión IV: una jerarquía aprendida, no dictada. El tokenizer era una regla escrita a mano; H-Net la sustituye por aprendizaje. Es la «lección amarga» de Sutton aplicada a la propia jerarquía.
Y es una vía de sobriedad: al repartir el cálculo según la dificultad, se gasta menos en lo previsible.
Estas arquitecturas son más complejas de entrenar: las secuencias tienen longitudes variables y cada piso tiene sus propios ajustes. Se han probado hasta unos pocos miles de millones de parámetros, lejos de los modelos más grandes. Los LCM todavía tropiezan con la fluidez y dependen de un espacio de significado fijo (SONAR) que no aprenden ellos mismos.
Apoyo a H1: dar (o dejar construir) una estructura explícita hace el aprendizaje más eficiente, claramente con el ADN, el chino y el código, donde el corte clásico funciona mal. Y un vínculo con H5: las «ideas» de un LCM viven en un espacio continuo donde una frase está cerca de varias familias, más parecido a un grafo que a un árbol.
H1 · El apetito de datos viene en parte de una jerarquía ausente (55 %) H5 · Un grafo, no un árbol (60 %)
Apilar un piso más: de las letras a los fragmentos (H-Net), de los fragmentos a las ideas (LCM), de las ideas a las reglas. El piso superior se convertiría en la memoria compacta del modelo, la de nuestra hipótesis H2.