Aprendizaje por refuerzo
Aprender por ensayo y error: el modelo lo intenta, una nota lo recompensa o no, y ajusta sus parámetros para obtener mejores notas. Así se entrenan muchos modelos de razonamiento.
Glosario · La IA del mañana
Glosario
Las palabras técnicas del cuaderno, explicadas con sencillez. En las páginas, la primera aparición de cada término va subrayada con puntos y enlaza aquí.
Cascada (y enrutador)
Primero se pregunta a un modelo pequeño y barato, y solo se sube al grande si la respuesta no convence. El enrutador es el programa que decide adónde va cada pregunta. En una mezcla de expertos, un enrutador elige del mismo modo qué expertos encender.
Colapso (model collapse)
Lo que ocurre cuando los modelos aprenden sobre todo de textos escritos por otros modelos: primero desaparecen los casos raros, y luego la calidad se degrada de generación en generación.
Cuantización (menos bits)
Escribir cada número del modelo con menos bits. En 16 bits, un número puede tomar 65 536 valores; en 4 bits, solo 16. Es como redondear precios al euro: más ligero, algo menos preciso.
Decodificación especulativa
Un modelo pequeño propone varias palabras por adelantado, y el grande las comprueba todas en una sola pasada. El texto final es el mismo que el del modelo grande, pero sale más rápido.
Destilación
Transmitir el conocimiento de un gran modelo «maestro» a otro más pequeño, el «alumno», entrenándolo con las respuestas del maestro. En este cuaderno también hablamos de destilar el saber en programas.
Entrenamiento
La fase en la que el modelo aprende: lee textos, adivina lo que sigue y se corrigen sus parámetros tras cada error. Es largo y caro, pero se hace una sola vez.
Inferencia
El uso del modelo una vez entrenado: responder a una pregunta. Ese coste se paga en cada respuesta, de ahí el interés en reducirlo.
Ley de Amdahl
Acelerar una parte de un trabajo solo ayuda en esa parte. Si un paso supone la mitad del tiempo, aunque se vuelva instantáneo solo se gana la mitad.
Ley de escala
Una relación medida entre el tamaño de un modelo, la cantidad de datos y la calidad obtenida. Permite prever el resultado de un gran entrenamiento a partir de otros pequeños.
Memoria externa
Una base de textos o fichas que el modelo consulta en lugar de retenerlo todo en sus parámetros, como quien abre un diccionario en vez de aprendérselo de memoria.
Mezcla de expertos (MoE)
Un modelo dividido en muchas subredes, los «expertos». Para cada token, un pequeño enrutador solo enciende unos pocos: mucho conocimiento para poco cálculo.
Muro de la memoria
En un ordenador, mover un número entre la memoria y la unidad de cálculo cuesta mucha más energía y tiempo que el propio cálculo. Es uno de los principales frenos de los grandes modelos.
Parámetro (peso)
Un número que se ajusta durante el entrenamiento. Un modelo contiene miles de millones, y su conjunto forma lo que sabe. Imagen: los miles de millones de botoncitos de una enorme mesa de mezclas.
Prueba de referencia (benchmark)
Una serie de preguntas cuyas respuestas se conocen, para comparar modelos con las mismas reglas. MMLU, GSM8K o AIME son ejemplos.
Pérdida (loss)
La nota de error del modelo durante el entrenamiento: cuanto más baja, mejor adivina lo que sigue. A menudo se comparan dos métodos «a igual pérdida».
Token
El trozo de texto que lee un modelo: a menudo una palabra corta o un pedazo de palabra. «Increíblemente» puede ser tres tokens. Los volúmenes de datos y los precios se cuentan en tokens.
Verificador (juez)
Lo que dice si una respuesta es correcta: pruebas para el código, un cálculo para las matemáticas u otro modelo. Verificar suele ser mucho más fácil que encontrar.