Approfondimento · Folio IV
Dagli anni Quaranta i computer sono costruiti in due parti: la memoria da un lato, il calcolatore dall'altro e un corridoio in mezzo. Per l'IA, che legge miliardi di pesi a ogni parola, quel corridoio è diventato la prima voce di spesa.
I processori sono diventati enormemente più veloci, la memoria molto meno, e spostare i dati costa sempre di più rispetto al calcolo. Un modello da 70 miliardi di pesi li rilegge tutti per ogni parola che scrive: il calcolatore aspetta e l'energia se ne va nel corridoio.
L'idea: smettere di spostare i pesi. Metterli dove avviene il calcolo, o far calcolare la memoria stessa.
Tre famiglie. Il digitale vicino alla memoria: molti piccoli core, ognuno con la sua memoria accanto, e nessuna memoria esterna. L'analogico in memoria: il peso è conservato come conduttanza elettrica e la legge di Ohm fa la moltiplicazione: si applica una tensione, si legge una corrente. La fotonica: la luce attraversa una griglia di componenti ottici che esegue un prodotto di matrici lungo il percorso.
In tutti e tre i casi il guadagno viene dallo stesso punto, meno viaggi, e anche la difficoltà: la memoria di un chip è limitata, i segnali analogici sono rumorosi e queste macchine devono inserirsi in un mondo di software digitale.
Fonte: Horowitz, Computing's Energy Problem (ISSCC 2014)
Fig. J — Il corridoio, o niente corridoio
Computer classico
Ogni peso fa il viaggio: circa 1300–2600 pJ per leggere 64 bit dalla memoria principale, per circa 4 pJ di calcolo.
Calcolo in memoria
Ogni cella di memoria calcola dove è conservato il suo peso: il corridoio sparisce.
Schema illustrativo: mostra l'idea, non misurazioni.
Promettente
22 miliardi di transistor, nessuna memoria esterna. Nel riconoscimento di immagini (ResNet-50), rispetto a una GPU fatta con lo stesso processo a 12 nm: 25 volte più efficiente in energia, latenza 22 volte più bassa, 5 volte più risultati per transistor; ancora 5 volte più efficiente di una H100 a 4 nm. Digitale, quindi senza rumore analogico. Il suo limite: tutto deve stare nella memoria del chip.
Speculativo
35 milioni di celle di memoria a cambiamento di fase su 34 tessere, a 14 nm. Nel riconoscimento vocale, un'accuratezza vicina al digitale e oltre 14 volte l'efficienza energetica, fino a 12 400 miliardi di operazioni al secondo per watt. Ancora un chip di ricerca: niente core digitali a bordo, alcuni passaggi fatti all'esterno.
Fonte: Ambrogio et al., An analog-AI chip for speech recognition, Nature (2023)
Speculativo
Sei chip impilati in 3D, 50 miliardi di transistor e un milione di componenti fotonici: 65 500 miliardi di operazioni al secondo con 78 watt. Per la prima volta un processore a luce ha fatto girare modelli non modificati (ResNet, BERT, un giocatore di Atari) con un'accuratezza vicina all'elettronica a 32 bit.
Fonte: Ahmed et al., Universal photonic AI acceleration, Nature (2025)
La capacità: un grande modello linguistico non sta nella memoria di un solo NorthPole; va distribuito su molti chip, e il corridoio ritorna tra di loro. La precisione: il calcolo analogico e ottico deriva con la temperatura e l'invecchiamento. L'ecosistema: vent'anni di software sono stati scritti per le GPU. Ecco perché questa pista è «speculativa»: la fisica funziona, l'industria non segue ancora.
Quarto fattore di H6: l'energia per bit spostato. E l'illustrazione più netta della nuova conclusione: il vero costo è spostare i dati. Una gerarchia dei dati ne è la versione software: tenere vicino al calcolo ciò che serve spesso.
Non possiamo costruire un chip del genere, ma possiamo misurare il muro: su un computer comune, cronometrare un piccolo modello quando i suoi pesi stanno nella cache del processore e quando non ci stanno. Il salto dovrebbe mostrare, in piccolo, la barriera che questi chip cercano di eliminare.