Profundización · Folio IV
Tu cerebro no activa todas sus neuronas para leer una palabra. Los modelos clásicos sí: cada parámetro trabaja en cada palabra. Una nueva generación solo despierta la parte necesaria.
Un modelo clásico («denso») es como una empresa donde cada empleado lee cada carta. Una mezcla de expertos sustituye un gran bloque por muchos especialistas más pequeños y un repartidor que confía cada palabra a unos pocos.
La apuesta: el modelo puede saber mucho (muchos parámetros) y a la vez calcular poco por palabra (pocos parámetros activos). Tamaño total y coste por palabra pasan a ser dos mandos distintos.
En cada capa, una pequeña red, el enrutador, puntúa a cada experto para la palabra actual y se queda con los mejores. Solo esos calculan. La dificultad es el equilibrio: si el enrutador elige siempre a los mismos, los demás nunca aprenden y parte del hardware queda ociosa.
DeepSeek-V3 (diciembre de 2024) tiene 256 expertos especializados más uno compartido por capa, y activa 8 por palabra: 37 000 millones de parámetros activos de 671 000 millones. Equilibra la carga sin la penalización habitual, subiendo un poco la puntuación de los expertos infrautilizados y bajando la de los sobrecargados.
Fuente: DeepSeek-AI, DeepSeek-V3 Technical Report (2024)
Fig. F — Dos expertos de dieciséis
2 / 16 expertos encendidos · 12,5 % de la capa
Esquema ilustrativo: muestra la idea, no mediciones.
Establecido
671 000 millones de parámetros, 5,5 % activos por palabra. El entrenamiento completo requirió 2,788 millones de horas de GPU H800, un presupuesto modesto para su nivel, y el modelo compite con los mejores modelos cerrados de finales de 2024 en muchas pruebas.
Prometedor
En lugar de elegir entre expertos, cada capa elige qué palabras procesar; las demás pasan de largo. Los modelos entrenados así en Google DeepMind igualan a uno estándar con hasta un 50 % menos de operaciones por paso, y generan hasta un 50 % más rápido.
Prometedor
Un mismo bloque de capas se aplica varias veces, como quien relee una frase difícil, y un enrutador decide cuántas pasadas recibe cada palabra. De 135 millones a 1700 millones de parámetros, supera a los modelos estándar con el mismo cálculo y menos parámetros (NeurIPS 2025).
La memoria no encoge: los 671 000 millones de parámetros siguen teniendo que almacenarse, a menudo repartidos en muchos chips. Se ahorra cálculo, no almacenamiento, y las palabras viajan entre máquinas. Agrupar peticiones se vuelve más difícil: cuando cada palabra sigue un camino distinto, servir a muchos usuarios a la vez, que es lo que hace eficientes a los servidores, funciona peor; Mixture-of-Depths brilla sobre todo petición a petición. Un entrenamiento frágil: los enrutadores pueden colapsar sobre unos pocos expertos.
Es el primer factor de H6: la parte del modelo que trabaja para cada palabra. También hace eco a nuestra jerarquía. Los expertos dividen el saber en horizontal (por especialidad); nuestra pirámide lo divide en vertical (por nivel de abstracción). Ambas cosas podrían combinarse: expertos para los principios, una memoria para los detalles.
Mirar dentro de un modelo abierto de expertos y comprobar, con artículos de OrigoTech, si sus expertos se especializan por tema (economía, IA, salud) o por forma (puntuación, cifras, gramática). Si es sobre todo la forma, los expertos no ordenan el saber como una biblioteca, y nuestra jerarquía vertical está por construir.