Far girare l'AI dentro l'SSD: la ricerca che vuole togliere lavoro alla GPU

Per far rispondere un modello linguistico servono due cose: i pesi del modello e la potenza per moltiplicarli. I pesi sono decine o centinaia di gigabyte. La potenza sta nella GPU. Il problema è che la GPU ha poca memoria e costa moltissimo, quindi tutto il lavoro consiste nel far entrare qualcosa di enorme in uno spazio piccolo e caro.

Alcuni gruppi di ricerca hanno iniziato a rovesciare la domanda. Invece di chiedersi come portare i pesi dentro la GPU, si chiedono perché spostarli. E se una parte del calcolo la facesse direttamente il disco dove i pesi sono già scritti?

Il collo di bottiglia non è il calcolo, è il traffico

Questa è la parte controintuitiva. Nella fase di risposta di un modello linguistico, quella che si chiama inferenza, l'acceleratore passa gran parte del tempo ad aspettare dati. Le unità di calcolo sono velocissime, ma restano ferme finché i pesi non arrivano dalla memoria. Il limite è la banda, non la matematica.

Ogni byte che non deve viaggiare è un byte che non costa energia, tempo e memoria.

Da questa osservazione nasce l'idea del calcolo dentro lo storage. Gli SSD moderni non sono contenitori passivi: hanno un controller con capacità di elaborazione e una banda interna, tra i chip di memoria e il controller, molto superiore a quella del cavo che li collega al resto del computer. C'è già un piccolo computer dentro il disco, e per ora fa solo il contabile.

Cosa stanno provando a fare

La direzione più concreta riguarda i modelli a esperti, quelli in cui a ogni parola generata si attiva solo una frazione dei parametri totali. Il modello complessivo è gigantesco, ma per una singola risposta ne serve una fetta piccola. Il resto dei pesi sta fermo sul disco a occupare spazio.

• Il disco tiene i pesi degli esperti che non sono in uso, invece di occupare memoria costosa.
• Il controller esegue nel disco le operazioni più semplici e ripetitive, quelle che oggi giustificano il trasferimento di enormi quantità di dati.
• Verso l'acceleratore viaggia solo il risultato, che è molto più piccolo dei pesi che lo hanno prodotto.
• La GPU resta libera per la parte di calcolo che sa fare meglio di chiunque altro.

Perché non è già la soluzione a tutto

Ci sono ostacoli seri, ed è giusto dirli invece di raccontare la versione entusiasta.

• I controller degli SSD sono progettati per gestire file, non per fare algebra lineare. La capacità di calcolo disponibile è modesta.
• La memoria flash si consuma a ogni scrittura. Un uso intensivo va progettato in modo da leggere molto e scrivere poco.
• Manca uno standard: ogni produttore espone funzioni diverse, e senza un'interfaccia comune il software resta legato a un modello di disco.
• La latenza di un SSD resta ordini di grandezza superiore a quella della memoria vicina al chip. Funziona dove i dati sono tanti e riusati poco, non ovunque.

Perché vale comunque la pena guardarla

Perché apre uno scenario diverso da quello attuale. Oggi far girare un modello grande significa affittare acceleratori in un data center, con i costi e la dipendenza che comporta. Se una quota del lavoro si sposta sullo storage, un modello enorme può girare su una macchina ordinaria con un disco capiente.

Questo significa modelli che restano dentro l'azienda, dati che non escono, costi che diventano un acquisto invece di un abbonamento a consumo. Per uno studio odontoiatrico che vuole un assistente sui propri documenti, o per un'azienda che non può mandare i suoi dati a un servizio esterno, la differenza è sostanziale.

Cosa ne facciamo oggi

Non consigliamo a nessuno di costruire un'infrastruttura su una tecnologia che è ancora in laboratorio. La seguiamo perché indica una direzione, e la direzione conta più della singola tecnica: il valore si sta spostando da chi ha più potenza bruta a chi spreca meno.

È la stessa logica che applichiamo ai progetti dei clienti. Scegliere il modello giusto per il compito, non il più grande. Tenere i dati vicino a dove servono. Evitare di far viaggiare informazioni che potevano restare ferme. Sono principi che funzionano adesso, con l'hardware che esiste adesso, e continueranno a funzionare quando il disco imparerà a fare i conti da solo.