Aprofundamento · Folio II
Um modelo clássico lê o texto em pedacinhos todos da mesma natureza, cortados de antemão por um dicionário fixo. Nós lemos letras, depois palavras, depois ideias. E se o modelo construísse ele mesmo esses andares?
Antes do treinamento, uma ferramenta chamada tokenizer corta o texto em "tokens" segundo um dicionário fixo. O modelo nunca vê as letras e nunca raciocina num nível mais alto que esses tokens: tudo acontece em um só andar.
Os trabalhos desta página acrescentam andares e, sobretudo, deixam o modelo decidir sozinho onde cortar.
Imagine uma fábrica com três oficinas. Uma oficina pequena lê o texto letra por letra. Ela agrupa as letras em pedaços e passa esses pacotes a uma grande oficina central, que faz o essencial do raciocínio sobre uma sequência bem mais curta. Uma última oficina pequena desenrola o resultado letra por letra.
O ganho: a oficina central, a mais cara, trabalha com menos elementos. E o corte acompanha o conteúdo: um trecho previsível vira um pedaço grande, um trecho difícil é cortado fino. O processamento vai para onde está a informação.
Fig. C — Das letras às ideias
Esquema ilustrativo: mostra a ideia, não medições.
A unidade de pensamento passa a ser a frase inteira, colocada no SONAR, um espaço de sentido compartilhado por 200 línguas escritas e 76 faladas. O modelo prevê a próxima ideia, não a próxima palavra. Ele supera um Llama 3.1 do mesmo tamanho em resumo multilíngue, mas é menos fluente.
Nada de dicionário: o modelo lê bytes e os agrupa em "patches" de tamanho variável, cortados onde o que vem a seguir fica imprevisível. Pela primeira vez, ele se iguala aos modelos baseados em tokens, até 8 bilhões de parâmetros e 4 trilhões de bytes, e escala melhor com o mesmo custo de inferência.
Fonte: Pagnoni et al., Byte Latent Transformer (Meta, ACL 2025)
O corte é inteiramente aprendido, sem nenhuma regra fornecida. Sozinho, o modelo inventa pedaços de cerca de 4,5 a 5 bytes, comparáveis aos tokens clássicos. Com dois andares, ele se iguala a um modelo de tokens com o dobro do tamanho e ganha quase 4 vezes em eficiência de dados com DNA.
É exatamente o caminho que nossa conclusão IV sugeria: uma hierarquia aprendida, não ditada. O tokenizer era uma regra escrita à mão; o H-Net a substitui por aprendizado. É a "lição amarga" de Sutton aplicada à própria hierarquia.
E é um caminho de economia: ao distribuir o processamento conforme a dificuldade, gasta-se menos com o que é previsível.
Essas arquiteturas são mais complexas de treinar: as sequências têm tamanhos variáveis e cada andar tem seus próprios ajustes. Foram testadas até alguns bilhões de parâmetros, longe dos maiores modelos. Os LCM ainda tropeçam na fluência e dependem de um espaço de sentido fixo (SONAR) que eles mesmos não aprendem.
Apoio a H1: dar (ou deixar construir) uma estrutura explícita torna o aprendizado mais eficiente, claramente com DNA, chinês e código, onde o corte clássico é ruim. E uma ligação com H5: as "ideias" de um LCM vivem num espaço contínuo onde uma frase fica perto de várias famílias, mais parecido com um grafo do que com uma árvore.
H1 · O apetite por dados vem em parte de uma hierarquia ausente (55 %) H5 · Um grafo, não uma árvore (60 %)
Empilhar mais um andar: das letras aos pedaços (H-Net), dos pedaços às ideias (LCM), das ideias às regras. O andar de cima viraria a memória compacta do modelo, a da nossa hipótese H2.