Apprentissage par renforcement
Apprendre par essais et erreurs : le modèle tente, une note le récompense ou non, et il ajuste ses paramètres pour obtenir de meilleures notes. C'est ainsi qu'on entraîne beaucoup de modèles de raisonnement.
Glossaire · L'IA de demain
Glossaire
Les mots techniques du carnet, expliqués simplement. Dans les pages, la première apparition de chaque terme est soulignée en pointillé et renvoie ici.
Banc d'essai (benchmark)
Une série de questions dont on connaît les réponses, pour comparer des modèles avec les mêmes règles. MMLU, GSM8K ou AIME en sont des exemples.
Cascade (et aiguilleur)
On pose d'abord la question à un petit modèle bon marché, et l'on ne monte au grand que si la réponse ne convainc pas. L'aiguilleur est le programme qui décide où envoyer chaque question. Dans un mélange d'experts, un aiguilleur choisit de la même façon quels experts allumer.
Distillation
Transmettre le savoir d'un grand modèle « maître » à un plus petit « élève », en entraînant l'élève sur les réponses du maître. Dans ce carnet, on parle aussi de distiller un savoir en programmes.
Décodage spéculatif
Un petit modèle propose plusieurs mots d'avance, et le grand les vérifie tous en un seul passage. Le texte final est le même que celui du grand modèle, mais il sort plus vite.
Effondrement (model collapse)
Ce qui arrive quand des modèles apprennent surtout de textes écrits par d'autres modèles : les cas rares disparaissent d'abord, puis la qualité se dégrade de génération en génération.
Entraînement
La phase où le modèle apprend : il lit des textes, devine la suite, et l'on corrige ses paramètres à chaque erreur. C'est long et cher, mais on ne le fait qu'une fois.
Inférence
L'usage du modèle une fois entraîné : répondre à une question. Ce coût se paie à chaque réponse, d'où l'intérêt de le réduire.
Jeton (token)
Le morceau de texte que lit un modèle : souvent un mot court ou un bout de mot. « Incroyablement » peut faire trois jetons. Les volumes de données et les prix se comptent en jetons.
Loi d'Amdahl
Accélérer une partie d'un travail n'aide que pour cette partie. Si une étape représente la moitié du temps, même la rendre instantanée ne fait gagner que la moitié.
Loi d'échelle
Une relation mesurée entre la taille d'un modèle, la quantité de données et la qualité obtenue. Elle permet de prévoir le résultat d'un gros entraînement à partir de petits.
Mur de la mémoire
Dans un ordinateur, déplacer un nombre entre la mémoire et le calculateur coûte bien plus d'énergie et de temps que le calcul lui-même. C'est l'un des principaux freins des grands modèles.
Mélange d'experts (MoE)
Un modèle découpé en nombreux sous-réseaux, les « experts ». Pour chaque jeton, un petit aiguilleur n'en allume que quelques-uns : on garde un grand savoir pour un petit calcul.
Mémoire externe
Une base de textes ou de fiches que le modèle consulte au lieu de tout retenir dans ses paramètres, comme on ouvre un dictionnaire plutôt que de l'apprendre par cœur.
Paramètre (poids)
Un nombre réglé pendant l'entraînement. Un modèle en contient des milliards, et c'est leur ensemble qui forme son savoir. Image : les milliards de petits boutons d'une immense table de mixage.
Perte (loss)
La note d'erreur du modèle pendant l'entraînement : plus elle est basse, mieux il devine la suite des textes. On compare souvent deux méthodes « à perte égale ».
Quantification (moins de bits)
Écrire chaque nombre du modèle avec moins de bits. En 16 bits, un nombre peut prendre 65 536 valeurs ; en 4 bits, seulement 16. C'est comme arrondir des prix à l'euro : plus léger, un peu moins précis.
Vérificateur (juge)
Ce qui dit si une réponse est bonne : des tests pour du code, un calcul pour des mathématiques, ou un autre modèle. Vérifier est souvent bien plus facile que trouver.