Aprofundamento · Folio IV
Seu cérebro não ativa todos os neurônios para ler uma palavra. Os modelos clássicos sim: cada parâmetro trabalha em cada palavra. Uma nova geração só acorda a parte necessária.
Um modelo clássico ("denso") é como uma empresa onde cada funcionário lê cada carta. Uma mistura de especialistas substitui um grande bloco por muitos especialistas menores e um distribuidor que confia cada palavra a alguns deles.
A aposta: o modelo pode saber muito (muitos parâmetros) e ao mesmo tempo calcular pouco por palavra (poucos parâmetros ativos). Tamanho total e custo por palavra se tornam dois botões separados.
Em cada camada, uma pequena rede, o encaminhador, dá uma nota a cada especialista para a palavra atual e fica com os melhores. Só esses calculam. A dificuldade é o equilíbrio: se o encaminhador escolher sempre os mesmos, os outros nunca aprendem e parte do hardware fica parada.
O DeepSeek-V3 (dezembro de 2024) tem 256 especialistas especializados mais um partilhado por camada, e ativa 8 por palavra: 37 bilhões de parâmetros ativos em 671 bilhões. Equilibra a carga sem a penalização habitual, subindo um pouco a nota dos especialistas pouco usados e baixando a dos sobrecarregados.
Fonte: DeepSeek-AI, DeepSeek-V3 Technical Report (2024)
Fig. F — Dois especialistas de dezesseis
2 / 16 especialistas ligados · 12,5 % da camada
Esquema ilustrativo: mostra a ideia, não medições.
Comprovado
671 bilhões de parâmetros, 5,5 % ativos por palavra. O treinamento completo exigiu 2,788 milhões de horas de GPU H800, um orçamento modesto para seu nível, e o modelo rivaliza com os melhores modelos fechados do final de 2024 em muitos testes.
Promissor
Em vez de escolher entre especialistas, cada camada escolhe que palavras processar; as outras passam direto. Os modelos treinados assim no Google DeepMind igualam um modelo padrão com até 50 % menos operações por passagem, e geram até 50 % mais depressa.
Promissor
Um mesmo bloco de camadas é aplicado várias vezes, como quem relê uma frase difícil, e um encaminhador decide quantas passagens recebe cada palavra. De 135 milhões a 1,7 bilhão de parâmetros, bate os modelos padrão com o mesmo cálculo e menos parâmetros (NeurIPS 2025).
A memória não encolhe: os 671 bilhões de parâmetros continuam precisando ser armazenados, muitas vezes distribuídos entre muitos chips. Economiza-se processamento, não armazenamento, e as palavras viajam entre máquinas. Agrupar pedidos fica mais difícil: quando cada palavra segue um caminho diferente, servir muitos usuários ao mesmo tempo, o que torna os servidores eficientes, funciona pior; o Mixture-of-Depths brilha sobretudo pedido a pedido. Um treinamento frágil: os encaminhadores podem colapsar em poucos especialistas.
É o primeiro fator de H6: a parte do modelo que trabalha para cada palavra. Também ecoa nossa hierarquia. Os especialistas dividem o saber na horizontal (por especialidade), nossa pirâmide o divide na vertical (por nível de abstração). As duas coisas podiam combinar-se: especialistas para os princípios, uma memória para os detalhes.
Olhar para dentro de um modelo aberto de especialistas e verificar, com artigos da OrigoTech, se seus especialistas se especializam por tema (economia, IA, saúde) ou por forma (pontuação, números, gramática). Se for sobretudo a forma, os especialistas não arrumam o saber como uma biblioteca, e nossa hierarquia vertical ainda precisa ser construída.