Approfondissement · Folio IV
Votre cerveau n'active pas tous ses neurones pour lire un mot. Les modèles classiques, si : chaque paramètre travaille sur chaque mot. Une nouvelle génération n'éveille que la partie utile.
Un modèle classique (« dense ») ressemble à une entreprise où chaque employé lit chaque lettre. Un mélange d'experts remplace un gros bloc par de nombreux spécialistes plus petits et un aiguilleur qui confie chaque mot à quelques-uns d'entre eux.
Le pari : le modèle peut savoir beaucoup (beaucoup de paramètres) tout en calculant peu pour chaque mot (peu de paramètres actifs). Taille totale et coût par mot deviennent deux réglages séparés.
À chaque couche, un petit réseau, l'aiguilleur, donne une note à chaque expert pour le mot en cours et garde les meilleurs. Seuls ceux-là calculent. La difficulté, c'est l'équilibre : si l'aiguilleur choisit toujours les mêmes, les autres n'apprennent jamais et une partie du matériel reste au chômage.
DeepSeek-V3 (décembre 2024) a 256 experts spécialisés plus un expert partagé par couche, et en active 8 par mot : 37 milliards de paramètres actifs sur 671 milliards. Il équilibre la charge sans la pénalité habituelle, en relevant un peu la note des experts sous-employés et en baissant celle des experts surchargés.
Source : DeepSeek-AI, DeepSeek-V3 Technical Report (2024)
Fig. F — Deux experts sur seize
2 / 16 experts allumés · 12,5 % de la couche
Schéma illustratif : il montre l'idée, pas des mesures.
Établi
671 milliards de paramètres, 5,5 % actifs par mot. L'entraînement complet a demandé 2,788 millions d'heures de GPU H800, un budget modeste pour son niveau, et le modèle rivalise avec les meilleurs modèles fermés de fin 2024 sur de nombreux tests.
Prometteur
Au lieu de choisir entre des experts, chaque couche choisit quels mots traiter ; les autres passent tout droit. Les modèles entraînés ainsi chez Google DeepMind égalent un modèle standard avec jusqu'à 50 % d'opérations en moins par passage, et génèrent jusqu'à 50 % plus vite.
Prometteur
Un même bloc de couches est appliqué plusieurs fois, comme on relit une phrase difficile, et un aiguilleur décide combien de passages chaque mot reçoit. De 135 millions à 1,7 milliard de paramètres, il bat les modèles standard à calcul égal, avec moins de paramètres (NeurIPS 2025).
La mémoire ne rétrécit pas : les 671 milliards de paramètres doivent toujours être stockés, souvent répartis sur de nombreuses puces. On économise du calcul, pas du stockage, et les mots voyagent entre les machines. Regrouper les requêtes devient plus dur : quand chaque mot suit un chemin différent, servir beaucoup d'utilisateurs à la fois, ce qui rend les serveurs efficaces, marche moins bien ; Mixture-of-Depths brille surtout requête par requête. Un entraînement fragile : les aiguilleurs peuvent s'effondrer sur quelques experts.
C'est le premier facteur de H6 : la part du modèle qui travaille pour chaque mot. Cela fait aussi écho à notre hiérarchie. Les experts découpent le savoir à l'horizontale (par spécialité), notre pyramide le découpe à la verticale (par niveau d'abstraction). Les deux pourraient se combiner : des experts pour les principes, une mémoire pour les détails.
Regarder à l'intérieur d'un modèle ouvert à experts et vérifier, sur les articles d'OrigoTech, si ses experts se spécialisent par thème (économie, IA, santé) ou par forme (ponctuation, chiffres, grammaire). Si c'est surtout la forme, les experts ne rangent pas le savoir comme une bibliothèque, et notre hiérarchie verticale reste à construire.