Sabino Maggi
– Fonte: Donald Giannatti su Unsplash.
Chiunque ne sappia un po’ di queste faccende lo aveva capito da tempo: i modelli linguistici di grandi dimensioni (Large Language Models, LLM), come GPT-3/4 di OpenAI, da cui deriva la stella del momento ChatGPT, o come LLaMA di Facebook, Alpaca di Stanford e compagnia bella, non hanno un futuro, sono troppo complicati, avidi di risorse e costosi per essere sostenibili a lungo termine.
Sembra di assistere alla riedizione della corsa al GHz nei processori di classe Pentium di una ventina di anni fa, conclusasi quando Intel ed AMD finirono per sbattere contro un muro costituito dai limiti fisici della tecnologia dei semiconduttori, in particolare l’impossibilità di raffreddare adeguatamente la CPU, obbligando i produttori ad un cambio di prospettiva che ci ha portato ad avere processori molto più potenti ma allo stesso tempo infinitamente più efficienti.
Anche gli LLM stanno per sbattere contro un muro analogo. Nel 2018, il modello GPT-1 contava 117 milioni di parametri, mentre nel 2019 il suo successore, GPT-2, ne contava già 1,5 miliardi. Nel 2020, GPT-3 ha raggiunto il numero strabiliante di 175 miliardi di parametri, mentre si stima che GPT-4, appena rilasciato, abbia circa 1000 miliardi di parametri e che il suo addestramento sia costato ben più di 100 milioni di dollari (i dati sono tratti da questo articolo su Medium).
In sostanza, in appena 5 anni il numero di parametri del modello linguistico Generative Pretrained Transformer, meglio noto come GPT, è cresciuto di ben 10.000 volte, quasi un ordine di grandezza all’anno, ma andare avanti a questo ritmo è fisicamente impossibile. E non lo dico io, lo dice Sam Altman, l’amministratore delegato di OpenAI, che è l’azienda che sta dietro ai modelli GPT-1/4 e a ChatGPT.
“Penso che siamo alla fine dell’era in cui ci saranno questi modelli, diciamo, giganti, giganteschi. Li miglioreremo in altri modi”.
“I think we’re at the end of the era where it’s going to be these, like, giant, giant models. We’ll make them better in other ways.”
Se lo sostiene perfino lui, è evidente che la gestione di questi modelli linguistici sia diventata insostenibile anche per una azienda piena di soldi come OpenAI. Non è un caso che nel frattempo lo sviluppo di GPT-5 sia in standby.
Serve un cambio di rotta, perché nel campo dell’intelligenza artificiale non è affatto detto che più grande significhi per forza di cose migliore.