ChatGPT al capolinea

Mon, 24 Apr 2023 06:00:00 +0000

– Fonte: Donald Giannatti su Unsplash.

Chiunque ne sappia un po’ di queste faccende lo aveva capito da tempo: i modelli linguistici di grandi dimensioni (Large Language Models, LLM), come GPT-3/4 di OpenAI, da cui deriva la stella del momento ChatGPT, o come LLaMA di Facebook, Alpaca di Stanford e compagnia bella, non hanno un futuro, sono troppo complicati, avidi di risorse e costosi per essere sostenibili a lungo termine.

Sembra di assistere alla riedizione della corsa al GHz nei processori di classe Pentium di una ventina di anni fa, conclusasi quando Intel ed AMD finirono per sbattere contro un muro costituito dai limiti fisici della tecnologia dei semiconduttori, in particolare l’impossibilità di raffreddare adeguatamente la CPU, obbligando i produttori ad un cambio di prospettiva che ci ha portato ad avere processori molto più potenti ma allo stesso tempo infinitamente più efficienti.

Anche gli LLM stanno per sbattere contro un muro analogo. Nel 2018, il modello GPT-1 contava 117 milioni di parametri, mentre nel 2019 il suo successore, GPT-2, ne contava già 1,5 miliardi. Nel 2020, GPT-3 ha raggiunto il numero strabiliante di 175 miliardi di parametri, mentre si stima che GPT-4, appena rilasciato, abbia circa 1000 miliardi di parametri e che il suo addestramento sia costato ben più di 100 milioni di dollari (i dati sono tratti da questo articolo su Medium).

In sostanza, in appena 5 anni il numero di parametri del modello linguistico Generative Pretrained Transformer, meglio noto come GPT, è cresciuto di ben 10.000 volte, quasi un ordine di grandezza all’anno, ma andare avanti a questo ritmo è fisicamente impossibile. E non lo dico io, lo dice Sam Altman, l’amministratore delegato di OpenAI, che è l’azienda che sta dietro ai modelli GPT-1/4 e a ChatGPT.

“Penso che siamo alla fine dell’era in cui ci saranno questi modelli, diciamo, giganti, giganteschi. Li miglioreremo in altri modi”.

“I think we’re at the end of the era where it’s going to be these, like, giant, giant models. We’ll make them better in other ways.”

Se lo sostiene perfino lui, è evidente che la gestione di questi modelli linguistici sia diventata insostenibile anche per una azienda piena di soldi come OpenAI. Non è un caso che nel frattempo lo sviluppo di GPT-5 sia in standby.

Serve un cambio di rotta, perché nel campo dell’intelligenza artificiale non è affatto detto che più grande significhi per forza di cose migliore.

L'anniversario della presentazione dell'iPad secondo ChatGPT

Sun, 29 Jan 2023 06:00:00 +0000

Ho colto al volo l’occasione dell’anniversario della presentazione dell’iPad per far scrivere a ChatGPT un post sull’argomento. Io mi sono limitato a qualche notarella tecnica e a un breve commento finale.

Domanda: Scrivi un post per un blog in tono tecnico sul recente anniversario della presentazione dell’iPad.

Risposta: Il 27 gennaio 2010, Apple Inc. ha presentato il primo iPad, un tablet computer che utilizza un display multi-touch da 9,7 pollici e si basa sul sistema operativo iOS. Il dispositivo era alimentato dal chip A4 di Apple, che presentava un CPU Cortex-A8 da 1 GHz e una GPU PowerVR SGX535, fornendo all’iPad una notevole potenza computazionale per l’epoca. Il dispositivo è stato inizialmente rilasciato in tre capacità di archiviazione (16 GB, 32 GB e 64 GB) e con un prezzo di partenza di 499 dollari.

Al momento del lancio, l’iPad ha ricevuto reazioni miste dalla comunità tecnologica, con alcuni che lodavano il suo potenziale come dispositivo rivoluzionario per la navigazione web, l’email, le foto e la visione di video, mentre altri lo respingevano come un “gigantesco iPhone” con un’appeal limitato. Tuttavia, questi dubbi sono stati presto dissipati in quanto l’iPad è diventato rapidamente un dispositivo popolare, con Apple che ha venduto oltre 15 milioni di unità nei primi nove mesi dal lancio. Uno dei fattori chiave che ha contribuito al successo dell’iPad è stata la sua capacità di eseguire una vasta gamma di app, grazie al suo hardware potente e al sistema operativo iOS. Ciò ha permesso di eseguire una varietà di compiti sul dispositivo, come la navigazione web, l’invio di email, la modifica di documenti, la visione di video e i giochi. Il display grande dell’iPad lo ha inoltre reso ideale per la fruizione di media, soprattutto per la lettura di libri, riviste e giornali.

L’interfaccia touch dell’iPad, il suo design semplice e l’accessibilità hanno anche svolto un ruolo significativo nel suo successo. Ciò ha reso il dispositivo facile da usare per persone di tutte le età e livelli di abilità, espandendo così il mercato dei tablet, che era stato precedentemente limitato a nicchie come le imprese e i designer.

La presentazione dell’iPad ha anche avuto un impatto significativo sul mercato dei tablet nel suo insieme. Prima dell’iPad, i dispositivi tablet venivano principalmente utilizzati per compiti specifici come l’inserimento di dati e la progettazione grafica. Tuttavia, il successo dell’iPad ha stabilito il tablet come un dispositivo a scopo generale, adatto a una vasta gamma di compiti. Ciò ha portato allo sviluppo di una var

Come potete vedere la risposta si interrompe all’improvviso, ci sarà forse un limite tecnico sulla lunghezza delle risposte ma non è chiarissimo, visto che il testo contiene 366 parole e 2267 caratteri. Per verificare che non sia stato un problema tecnico (ChatGPT in questi giorni è ai limiti della sua capacità) ho anche provato a rigenerare il testo, ma anche questa volta il testo si interrompe a metà, dopo 358 parole e 2280 caratteri. In ogni caso la risposta è praticamente identica e ve la risparmio.

Facendo scrivere a ChatGPT un post equivalente in inglese il risultato è, come prevedibile, praticamente uguale al testo in italiano, probabilmente perché ChatGPT può leggere e scrivere in qualunque lingua (o quasi) ma pensa sempre e solo in inglese.

Che dire del risultato? Francamente mi sembra più interessante leggere la lista della spesa, non c’è nessun calore, è tutto piatto e senza vita come un comunicato stampa. Il testo scritto da ChatGPT è un semplice elenco di fatti, una rielaborazione piatta di pagine e pagine di notizie presenti sul web, senza che questo elenco diventi una storia degna di essere letta. Un umano potrebbe fare sicuramente di meglio.

Il problema con ChatGPT è che ce l’hanno venduto come la soluzione per tutto, sostituito dello scrittore, terrore degli insegnanti (e manna per gli insegnati), sistema di sviluppo, motore di ricerca intelligente, manca solo che risolva il problema della fame nel mondo e siamo a posto.

Invece ChatGPT è solo un software con un’ottima memoria, un software che ha letto e ricorda praticamente tutto lo scibile umano, un software che, quando risponde alle nostre domande, va a prendere una cosa da qui e una da lì, senza avere la minima idea di cosa significhi. ChatGPT è un perfetto robot statistico, nulla di più.

Se gli si fanno fare cose adatte a lui, ChatGPT è eccezionale, basta solo non chiedergli di essere creativo, non fa per lui. Direi che, per ora, noi scrittori in erba possiamo dormire sonni tranquilli.

Openai on Melabit

ChatGPT al capolinea

L'anniversario della presentazione dell'iPad secondo ChatGPT