Gemini 3 Flash on Melabit

Antigravity: l'LLM lo fa meglio

Mon, 16 Mar 2026 18:00:00 +0000

Nelle ultime settimane ho scritto delle mie esperienze con Antigravity, o meglio con gli agenti (più o meno) intelligenti integrati in questo editor. I risultati sono stati contrastanti: a volte gli agenti si sono dimostrati molto efficaci, alleviando con precisione alcuni compiti complessi o ripetitivi, in altri casi non hanno combinato niente di buono facendo solo perdere una montagna di tempo.

Programmare male con l’LLM

Fra tutti gli impieghi più o meno utili degli LLM, uno dei più controversi è l’idea che chiunque possa usare un LLM per programmare, anche quando di programmazione non se ne sa una cippa. È il cosidetto vibe coding, un concetto che si può riassumere così: “vedo cose, dico cose, copio e incollo cose, e nella maggior parte dei casi funziona”. Non è una citazione da Nanni Moretti, lo dice Andrej Karpathy, uno dei fondatori di OpenAI.

Ora, mettendo da parte le tante questioni relative alla sicurezza, alla manutenibilità di codice prodotto senza sapere bene cosa fa, alla deriva verso la media che implica che la qualità del codice prodotto dall’IA tenderà inevitabilmente a crollare, basta sperimentare un po’ in prima persona, anche con progetti semplici, per accorgersi che l’idea del coding per tutti non funziona, e che se vuoi ottenere qualcosa di buono dall’IA devi sapere bene cosa vuoi e come lo vuoi.

Ci ho provato io stesso a fare vibe coding: ho chiesto a Gemini di scrivere un driver per una videocamera Arducam, spiegandogli solo le cose indispensabili a aspettando che facesse tutto da solo.¹

Questo approccio però non ha funzionato. Ci sono volute ore ed ore di lavoro, di errori, di risposte inconcludenti, di correzioni e di consigli per raggiungere un risultato accettabile.

E questo solo perché a un certo punto ho buttato alle ortiche l’idea di far fare tutto a Gemini e gli ho dato dei consigli su come procedere. Senza quelli sarebbe stato solo un sacco di tempo buttato via inutilmente.

Anche Mimmo ha provato, in modo del tutto indipendente da me, a far scrivere a Lumo un programma in Micropython per gestire la mia Arducam Mini 5MP Plus con il Pico. E anche Lumo, che è senza dubbio uno dei migliori chatbot in circolazione, non ce l’ha fatta da solo.

– Immagine generata da Google Gemini.

Programmare meglio con lo stesso LLM

Tutto questo però non significa che un LLM non possa essere prezioso quando si programma, basta solo usarlo come si deve. Bisogna spiegargli per filo e per segno cosa deve fare, mettergli a disposizione tutto il materiale che gli serve per lavorare, e piazzargli dei paletti entro cui deve muoversi.

In poche parole, bisogna trattarlo come un tesista o una stagista, con poca esperienza ma tanta voglia di imparare.

Sono bastati infatti due prompt scritti con criterio, il primo che definiva la struttura delle directory del progetto e istruiva l’agente ad usare fin dall’inizio git per il controllo di versione del codice e uv per installare i pacchetti Python che gli sarebbero potuti servire,

Prompt

Start a new project and name it project13-pico-camera5mp-reprise.

Read the AGENTS.md file that defines your basic behaviour.

Create a new directory with this name and initialize an empty git repository using git init Use uv for managing Python packages. All the code must stay in the code directory, with no subdirectories within it. This project does not need a data directory and the output directory must be renamed as images.

e il secondo che conteneva tutto quello che mi è venuto in mente per aiutarlo a lavorare,

Prompt

I have a Rasperry Pi Pico 2W connected to a Arducam 5MP Plus OV5642 Mini Module Camera Shield (https://www.arducam.com/arducam-5mp-plus-spi-cam-arduino-ov5642.html).

I have connected the camera to the Pico using the standard layout found in the documentation:

Camera	CS	MOSI	MISO	SCK	GND	VCC	SDA	SCL
Pico	GP5	GP3	GP4	GP2	GND	3V3	GP8	GP9

The main documentation for the camera can be found at these links:

The code to drive this camera with the Pico is written in C (i.e., for Arduino) and CircuitPython, and can be found here: https://github.com/ArduCAM/PICO_SPI_CAM. You can download all the files you need from this repository. In particular, the files for CircuitPython are in the Python directory:

Arducam.py, which contains the functions to drive the camera,
OV5642_reg.py which, as far as I have understood, defines the resolutions allowed when taking pictures, and
boot.py , but I don’t know what it does. In the same directory there is also the script ArduCAM_Mini_5MP_Plus_VideoStreaming.py which sends the video captured by the camera to a Windows application and that is of no use here.

Please write a basic CircuitPython script that uses the functions defined in Arducam.py to test that the camera works and can take photos.

per permettere a Gemini 3 Flash di generare rapidamente uno script in CircuitPython che gira direttamente sul Pico e che fa tutto quello che gli è stato chiesto.

In verità, la primissima versione dello script non funzionava, ma è bastato a Gemini modificare una sola riga del driver Arducam.py fornito dal produttore per mettere tutto a posto (ha tolto uno zero al valore della frequenza).²

– La linea evidenziata in azzurro indica l’unica modifica effettuata da Gemini al file Arducam.py; a sinistra il file originale, a destra quello modificato da Gemini.

Tutti gli altri file forniti dal produttore sono rimasti intatti.

Alla prova dei fatti, il driver del produttore funzionava benissimo con il Pico e Gemini si è limitato ad imparare ad usarlo per scrivere lo script che cattura l’immagine direttamente dal microcontroller (una cosa che con un po’ di pazienza avrei potuto fare anch’io).

Guidare l’LLM o lasciarlo fare da solo?

La differenza rispetto al vibe coding della volta scorsa è abissale.

In quel caso Gemini aveva lavorato furiosamente per ore, combinando dei tali casini da costringermi a riavviare per ben due volte il Mac. E nel frattempo si era convinto (e mi aveva convinto) che il driver Arducam.py fosse incompatibile con Il Pico e l’aveva riscritto da zero, buttando via una libreria essenziale per interloquire con la videocamera (quella indicata dalla freccia rossa),

– Modifiche alle prime righe del file Arducam.py; a sinistra il file originale, a destra come appare lo stesso file dopo le modifiche di Gemini. La freccia indica una libreria importante che viene rimossa di peso da Gemini.

e togliendo senza nessun motivo, e senza nemmeno un guadagno reale in termini di efficienza o di funzionalità (anzi!), la maggior parte delle funzioni definite nello stesso file (si noti nell’immagine qui sotto la differenza nella lunghezza del codice originale, a sinistra, rispetto a quello modificato, a destra).

– Modifiche al file Arducam.py. I rettangoli rossi mettono in evidenza la differenza fra il numero di righe del codice originale (a sinistra) e di quello modificato da Gemini (a destra).

E non contento di tutto ciò, aveva pure stravolto il file OV5642_reg.py contenente i dati di configurazione della videocamera, adducendo dei presunti problemi di memoria. Problemi che evidentemente non esistevano, visto che in questo secondo esperimento tutto è filato liscio usando il file originale del produttore.

– Modifiche al file OV5642_reg.py, contenente i dati di configurazione della videocamera. La configurazione originale (a sinistra) è stata totalmente stravolta da Gemini (a destra).

E Arduino?

Arrivato a questo punto era inevitabile che chiedessi a Gemini di generare anche il driver per Arduino, usando le stesse informazioni che gli avevo già fornito per CircuitPython.

Questa volta Gemini ha penato di più, ma soprattutto perché gli avevo imposto di effettuare solo delle modifiche minime alle librerie originali Arducam. Un vincolo che questa volta era impossibile da soddisfare, perché queste librerie non supportano nativamente il Raspberry Pi Pico.

Risposta

Researching Arducam Library Compatibility I’ve thoroughly inspected both the original ArduCAM library and the Arducam_mini library. Neither version contains native support for the RP2040/RP2350 (Pico) architecture. Specifically, both libraries are missing the necessary definitions for regtype, regsize, cbi, and sbi for this platform, which is the root cause of the compilation errors.

Una volta allentato questo vincolo le cose sono filate lisce e in poco tempo anche il driver modificato ad hoc per il Pico ed il relativo programma di acquisizione delle immagini erano pronti.

Gratis o a pagamento?

C’è chi sostiene che i modelli a pagamento sono molto meglio di quelli gratuiti. Di conseguenza, i miei problemi con il vibe coding sarebbero scomparsi se avessi pagato per usare Gemini o Claude.

Non è proprio così. Nel corso delle prove ho usato prevalentemente la versione gratuita di Gemini, proprio per verificare cosa succedeva all’utente non professionale che voleva provare a giocare un po’ con questi strumenti. Ma quando finivano i token sono passato alla versione a pagamento di Gemini fornita dall’università, e non ho mai notato differenze significative. Su Claude non posso dire niente, perché dover pagare 200 dollari al mese per usarlo in modo serio non ha senso per chi, come il sottoscritto, non è un programmatore professionista.

Ho notato però che Claude Opus e Claude Sonnet si sono sempre dimostrati molto più bravi di Gemini a risolvere i problemi che si presentavano nel corso dello sviluppo del codice. Ma poiché li ho utilizzati sempre a lavoro inoltrato, potrebbero solo essere stati facilitati da quello che Gemini aveva già fatto.

Conclusioni

È inutile dire che sia questo esperimento che quello precedente non hanno nulla di scientifico. Per essere tale, dovrei almeno utilizzare tipi diversi di microcontroller e di moduli collegati, stabilire un set di prompt ben definito e misurare in qualche modo come cambia la risposta dell’agente di turno al variare delle condizioni sperimentali.

Ma nonostante questo, l’esperimento ha un pregio: è riproducibile. Chiunque, con una spesa ridotta, può provare a ripeterlo usando lo stesso hardware e gli stessi prompt, in modo do verificare di persona se quello che ho trovato io è corretto o no.³

Una cosa che gli apostoli del vibe coding da decine di milioni di letture evitano sempre accuratamente di proporre. I loro articoli sono pieni di certezze e di previsioni roboanti, ma mancano sempre di fornire il sia pur minimo appiglio che permetta di verificare i loro claim.

Nessuno, oggi, può ancora negare che gli LLM possano essere di grande aiuto durante la programmazione, ma è difficile credere che riescano davvero a farlo senza nessun intervento umano. E questo almeno finché gli apostoli di cui sopra non si degneranno di fornirci dati chiari e ripetibili a supporto delle loro affermazioni.

Pur sapendo qualcosa di programmazione, non avevo la minima idea di come si potesse sviluppare un driver e non avevo nessuna voglia di passare dei giorni a studiare come si fa. ↩︎
Tecnicamente questo file è una libreria di funzioni, ma i microcontroller non hanno un sistema operativo e quindi queste funzioni accedono direttamente all’hardware, proprio come fanno i driver che controllano i componenti di un computer. Di conseguenza, in questo caso i termini libreria e driver sono interscambiabili. ↩︎
Dico spesa ridotta ma ormai la penuria di componenti elettronici ha fatto impazzire i prezzi del Pico e ancor di più della Arducam Mini 5MP Plus. Quest’ultima, dai 40 euro di pochi mesi fa ora si trova su Amazon o AliExpress a più del triplo. Per fortuna alcuni rivenditori mantengono (almeno per ora) dei prezzi più onesti. ↩︎

Effetto Dory

Mon, 09 Mar 2026 18:00:00 +0000

Lo so che gli LLM hanno poca memoria, ma non avrei mai immaginato di doverne subire così in fretta le conseguenze.

– Immagine generata da Google Gemini.

Nota per il lettore. Questo articolo è un complemento di quello precedente, Antigravity: un driver scritto dall’IA e andrebbe letto dopo il primo. Ma ecco un breve riassunto per i più pigri.

Non sapendo come fare a scrivere un driver per una videocamera SPI collegata ad un Raspberry Pi Pico, ho chiesto aiuto a Gemini 3 Flash, lavorando interamente dentro Antigravity. Dopo parecchie ore di lavoro, l’agente è riuscito a scrivere un programma funzionante in Arduino. A questo punto ho fatto un errore fatale, chiedendogli ancora di più, ma senza prendere delle precauzioni.

Premessa

Il codice funzionante generato con tanta fatica da Gemini 3 Flash prevedeva che il Pico facesse da interfaccia fra il mio Mac Mini e la videocamera SPI.¹ Sul Mac, uno script in Python comandava la cattura di una immagine, mentre l’acquisizione vera e propria veniva eseguita dal Pico tramite un programma per Arduino (uno sketch, nel gergo della piattaforma), che è fondamentalmente codice C/C++ adattato all’uso con i microcontrollori.

Comandare tutto da computer va benissimo per le prime prove, ma è molto scomodo quando si prevede di usare un dispositivo di questo genere per delle attività sul campo.

Catture automatiche

Allora ho chiesto a Gemini di modificare il codice in modo da effettuare automaticamente la cattura dell’immagine ogni N minuti oppure premendo un pulsante, inviando poi l’immagine ad un computer tramite Wi-Fi.²

Prompt

[...] However, this means that I need to use a Pico for the capture and another computer, even a Raspberry Pi Zero for commanding the capture process. Would it be possible to do everything on the Pico, eg press a button and perform the capture or via a timed process (defined in the .ino file itself) every N minutes (but there should be a mechanism that sends the images to a computer connected by WiFi, avoiding to fill the pico storage space).

Gemini si mette subito al lavoro, sempre continuando ad usare Arduino. Dovrebbe essere un programma molto semplice da realizzare ma, per quanto Gemini ci provi, non funziona mai. Dopo molti tentativi infruttuosi mi scoccio e gli chiedo di ritornare all’ultima versione funzionante del programma.

Tornare sui propri passi

E qui Gemini sbatte contro un muro imprevisto perché, nonostante la mia guida e i miei continui suggerimenti, non c’è assolutamente verso di riuscirci.

Stupidamente non avevo pensato di tenere traccia delle varie versioni del codice man mano che veniva generato, e questa è solo ed esclusivamente colpa mia.

Ma d’altre parte, pur essendo ben consapevole che i modelli linguistici di grandi dimensioni (LLM, Large Language Model) mentre lavorano hanno una memoria che sembra quella della pesciolina Dory, non avrei mai immaginato che questi sistemi ultrasofisticati non fossero neanche in grado di ricostruire a posteriori ciò che hanno fatto, pur avendo a disposizione decine e decine di file implementation_plan.md, task.md e walkthrough.md, che descrivono per filo e per segno tutti i passaggi precedenti (li ho contati, solo per questo progetto Antigravity ha generato più di 250 file diversi).

Tornare sui propri passi è una cosa che invece strumenti come git e i suoi predecessori, tutti privi di una qualunque forma di intelligenza che non sia quella dei suoi creatori, sono in grado di fare benissimo da più di cinquant’anni. Magari chi sviluppa questi agenti tanto intelligenti potrebbe farci un pensierino, no?

Epilogo

Alla fine, testardamente e basandomi sulle mie note,³ sono riuscito a far ripetere a Gemini tutto quello che aveva già fatto. Ci ha messo delle ore, ha ripetuto pari pari tutti gli errori della volta precedente, ma alla fine il codice ricostruito funziona di nuovo correttamente.

Già che c’ero, gli ho fatto rifare tutto anche per CircuitPython, e anche questo port ha richiesto molte altre ore di lavoro e di errori. E, prima di arrivarci, Gemini ha creato dei problemi talmente gravi che macOS ha dovuto disabilitare la comunicazione delle porte USB con il Pico, costringendomi a riavviare per un paio di volte il Mac.

Inutile dire che questa volta gli ho fatto tenere traccia di ogni passaggio con git e ho messo pure tutto il codice su GitHub, non si sa mai.

Uno dei prossimi passi sarà (spero) MicroPython, ma questa è ancora un’altra storia.

Perché Arduino fa tanta fatica, pur se è una piattaforma di sviluppo per microcontroller molto più matura di MicroPython e CircuitPython? Perché, per il modello di videocamera che ho scelto, Arducam non supporta il Raspberry Pi Pico ma solo i Raspberry Pi classici (quelli con il sistema operativo, per intenderci, come il Rasperry Pi 4, 5 e lo Zero), nonché tutti i microcontroller Arduino e ESP286. ↩︎
Lo so che l’inglese non è un gran che, è più un flusso di pensieri che un discorso organico. Ma ci sono dettagli che mi vengono in mente mentre scrivo, e preferisco buttarli giù così alla bell’e meglio piuttosto che perdere il filo delle idee. ↩︎
Non ripeterò mai abbastanza quanto sia importante tenere delle note scritte di quello che si fa. All’inizio sembra solo una perdita di tempo, mentre invece è il modo migliore per evitare di perderlo in futuro. ↩︎

Antigravity: dalla sorpresa al dubbio

Mon, 16 Feb 2026 18:00:00 +0000

Per quanto Antigravity sia efficace, scavando più in profondità ci si accorge che i sistemi ad agenti che agiscono al suo interno, per quanto servizievoli e capaci di rispondere in modo preciso a tante questioni complesse, non sono esenti dai soliti problemi di tutti i modelli linguistici di grandi dimensioni (LLM, Large Language Model) con cui abbiamo a che fare da tre anni a questa parte.

Vediamo alcuni esempi pratici.

– Immagine generata da Google Gemini.

Esempio #1

Dopo aver provato con successo ad estrarre i dati dalle immagini di un mio articolo, mi sono messo subito al lavoro per provare a applicare il metodo ad altre figure simili a quelle analizzate la prima volta, come ad esempio questa.

Obiettivamente, la figura è più complessa rispetto alle mie precedenti: nella parte superiore compare un istogramma che mostra le misurazioni mensili di precipitazione e altezza della neve per due località dal nome impronunciabile del Québec, dove le diverse misurazioni sono rappresentate con tonalità e colori differenti. Più in basso, ma parzialmente sovrapposto all’istogramma, troviamo un grafico a linee con le temperature medie mensili delle due località, la cui scala verticale è posizionata sul lato destro.

La figura è più complessa, è vero, ma non mi sarei mai aspettato che Gemini 3 Flash faticasse così tanto. Ci prova, ci riprova, ma ogni volta c’è qualcosa che non va. L’istogramma tutto sommato non è un grosso problema, ma non c’è verso di fargli capire cosa deve fare con i dati del grafico a linee. E questo anche dopo avergli spiegato dove deve guardare per determinare i valori di temperatura di ogni mese

Prompt

Hint: To evaluate temperatures for a given month you should take a point on the temperature plot that is between the two precipitation bars

Sono molto sorpreso dalla difficoltà che ha Gemini a ripetere ed estendere i risultati della mia prima prova, anche se continua a rassicurarmi sostenendo di aver capito benissimo quello che voglio e di aver eseguito un lavoro meticoloso.

Risposta

I have completed a meticulous re-evaluation of Figure 4 using the "midpoint" method you suggested (reading the temperature at the horizontal center between the two monthly precipitation bars). Final Corrections Applied: [...]

Nei fatti, sembra che Gemini non abbia la minima idea di cosa sia davvero il metodo “midpoint” e si limiti solo a ripetere ciò che gli dico, modificando solo qualche parola. Se così non fosse, infatti, risolverebbe l’intoppo in pochi secondi, tirando fuori i dati giusti proprio ha fatto la prima volta.

Alla fine mi arrendo. Non ha senso perdere delle ore per far fare ad un agente intelligente un lavoro che fatto a mano richiederebbe solo pochi minuti.

Esempio #2

Devo ammettere di essere deluso, ma forse mi sono aspettato troppo dal mio agente intelligente.

E allora cerco di semplificargli la vita, scegliendo un grafico di un mio vecchio articolo che non dovrebbe costituire un ostacolo particolarmente arduo per Gemini 3 Flash.

Che invece si incarta e fa errori incomprensibili. Con qualche aiutino, riesce a tirare fuori i dati mostrati in questo grafico, che però ha ancora parecchi punti mancanti (messi in evidenza dai riquadri colorati) o punti aggiunti in modo fantasioso (come quello indicato dalla freccia).

Nuova delusione. Perché usare un agente intelligente se si fa prima ad acquisire i punti a mano?

Esempio #3

Ma io non mi arrendo facilmente e provo ancora a fargli fare qualcosa di buono. E allora prendo una figura da quest’altro articolo, che è piuttosto semplice dal punto di vista grafico, ma che allo stesso tempo sarebbe utile poter acquisire in modo automatico, perché la quantità di dati contenuta rende difficile digitalizzarla a mano in modo preciso.

Scottato dalle esperienze precedenti gli chiedo prima di tutto di descrivere cosa vede nella figura.

Prompt

Now could you describe in simple words what you "see" in figure 1?

La risposta è lunga, precisa e quasi senza sbavature,

Risposta

Looking at figure 252505_1_f1.jpeg, I can see:

Two side-by-side graphs showing current-voltage (I-V) characteristics:

(a) Left graph (T = 2.0 K):

Shows a hysteretic behavior - the curve forms a loop
The current jumps abruptly at certain voltage points
There’s a clear gap between the upward and downward voltage sweeps
The vertical jumps occur around ±1 mV

(b) Right graph (T = 5.8 K):

Shows non-hysteretic behavior - smooth, continuous curve

No loop or gap between voltage sweeps
The transition is gradual rather than abrupt
The curve is more rounded at the critical points

Key observation: This demonstrates how the same Josephson junction behaves differently at different temperatures. At the lower temperature (2.0 K), it shows hysteresis (memory effect), while at the higher temperature (5.8 K), the hysteresis disappears and the junction becomes “overdamped.”

Both graphs show current ranging from about -15 to +15 mA on the y-axis, with voltage on the x-axis measured in millivolts (mV).

ma in realtà contiene un errore proprio alla fine della risposta che manderebbe a pallino tutti i tentativi di digitalizzare i dati contenuti nei due grafici.

Quando glielo faccio notare, Gemini 3 Flash si corregge immediatamente e sembra quasi dispiaciuto. Ma come ben sappiamo, tutti gli LLM sono programmati per assecondare sempre l’interlocutore.

Vado avanti e cerco di dargli una mano, spiegandogli per bene cosa dovrebbe fare.

Prompt

No problem. Now could you extract the values of voltage and current from the two images? Please produce a table for each image, and export the table as a csv file and a markdown file, with suffix `_table`.
Since one of the I-V curves is hysteretic, I suggest this strategy for extracting the data: start from V=0, increase V up to the maximum value following one of the paths, decrease V to 0 following the other path, do the same for the negative values of V.

Ma nonostante il suggerimento, non c’è verso di fargli fare un lavoro decente. Il meglio che ottengo sarebbe questo, che a prima vista è un ottimo risultato.

Peccato però che ci sia un errore grave e incomprensibile, che lascio a voi scoprire.

In ogni caso, l’immagine precedente è davvero il meglio del meglio del meglio, ed è stata ottenuta dopo ore di tentativi falliti (come questo tentativo iniziale, o questo, o questo) e di suggerimenti prima vaghi e poi sempre più precisi, un po’ come si fa con uno studente impreparato dal quale si cerca di tirar fuori qualche parola. Nonché di risposte che cercavano di adattarsi al suggerimento del momento, senza fare mai, o quasi mai, tesoro di tutto ciò che si era detto in precedenza.

Tutti questi tentativi infruttuosi sono stati resi ancora più frustanti dal fatto che, diversi anni fa, avevo risolto lo stesso problema in modo preciso e riproducibile con appena duecento righe di codice in Python (ricordavo male, non era C ma Python).

E quando alla fine gli spiego per filo e per segno come si fa, suggerendogli perfino che la chiave di tutto è convertire il file originale JPEG in un formato, il PBM (che è praticamente una griglia di 0 o 1 a seconda che il pixel sia bianco o nero),

Prompt

My suggestion is to change focus completely. If I were you I would:

take note of the extreme values of voltage and current on the X and Y axes;
get rid of the extraneous information outside the plot area and of the text (if any) inside it;
convert the image to the PBM (or PGM) format, that gives you a clean grid of black and white (or gray and white) pixels;
remove the extraneous grid dots using a 3x3 or 5x5 filter (or anything like that);
calculate the X and Y position of each black pixel, converting the [values] to Voltage and Current (it is just a proportion).

Clearly you can change the order of the steps or do something different if you believe your approach is better than mine.

non c’è lo stesso verso lo stesso di fargli fare qualcosa di utile.

Ancora più frustante è il fatto che Gemini non si è nemmeno fatto scrupolo di provare ad imbrogliarmi! Quando ha trovato il file originale dei valori misurati, che usavo per confrontare i risultati delle sue analisi con i dati veri, ha provato ad usare quel file per generare i dati che gli chiedevo. Chiaramente questa volta i risultati erano perfetti, ma ci voleva una intelligenza, artificiale o non, per tirare fuori una cosa del genere?

Altri esempi

Nei giorni in cui ho provato e riprovato quello che ho descritto in questo articolo ho fatto anche molte altre prove, come fargli scrivere del semplice codice in LaTeX, o convertire in CSV o Markdown le tabelle contenute nei file PDF di alcuni articoli.

Con il LaTeX se l’è cavato sempre bene, con le tabelle ha faticato parecchio anche quando il layout era abbastanza semplice. Inutile entrare nei dettagli, perché alla fine non ci sono grosse differenze rispetto agli esempi precedenti.

Conclusioni

Dopo gli ottimi risultati descritti nell’articolo precedente ero sinceramente convinto di poter usare gli agenti intelligenti integrati in Antigravity per estrarre facilmente i dati sepolti in tanti articoli scientifici di qualche anno fa, cosa che mi avrebbe permesso di eseguire delle nuove analisi comparate in modo rapido ed efficiente.

Purtroppo tutte le prove più approfondite descritte in questo articolo si sono rivelate un totale fallimento.

Il modello usato, quasi sempre Gemini 3 Flash (ma ho provato, anche se ho provato in modo più superficiale anche Gemini 3 Pro e Claude Sonnet 4.5),¹ ha mostrato un comportamento poco coerente e ripetibile. Ad esempio utilizzando metodi diversi per risolvere lo stesso problema, senza che fosse mai chiaro se dietro la scelta di un algoritmo o libreria di calcolo ci fosse una precisa motivazione tecnica o se si trattasse solo di una questione di probabilità statistica nella generazione delle risposte.

Un altro problema serio è stato la mancanza di memoria, un po’ come la pesciolina Dory dei cartoni animati. Nonostante pochi giorni prima avesse risolto con successo il problema di estrarre i dati da un istogramma, Gemini non stato in grado di riapplicare la stessa metodologia ad un caso analogo. Altre volte, una volta risolto un problema in modo parziale, gli capitava di ricominciare a lavorarci su ripartendo da zero, invece di limitarsi a rielaborare e a migliorare la risposta precedente.

Ma il problema che forse mi ha disturbato di più è stata l’incapacità di generalizzare il lavoro già fatto. Se gli chiedi di estrarre dei dati da una immagine, Gemini crea un programma adatto a quella immagine, senza mai cercare di sviluppare un metodo generale applicabile ad altre immagini dello stesso tipo. Se gli chiedi di generare il grafico di un file di dati, Gemini crea uno script adatto solo per quel file, che sarà impossibile o quasi adattare ad altri casi analoghi.

Quando un umano affronta un problema, tende ad affezionarsi alla soluzione e cerca di riusarla e di estenderla a problemi simili. Un LLM non se ne cura e riscopre la ruota ad ogni nuova iterazione. Sembra il trionfo dell’usa-e-getta, lo spreco di risorse e di intelligenza (per quanto artificiale) elevato all’ennesima potenza.

E queste cose non le ho notate solo io, che con queste cose ci gioco soltanto. Studi scientifici molto seri – che ad esempio hanno provato ad usare gli LLM per riscoprire la legge di gravitazione di Newton a partire dalle orbite dei pianeti attorno al Sole, oppure per prevedere il comportamento di una molecola in base alle diverse rappresentazioni della sua struttura – hanno raggiunto le stesse, identiche conclusioni.

La nostra analisi rivela che questi modelli si comportano, invece, come se sviluppassero delle euristiche specifiche per il singolo compito, che non riescono a generalizzare.²

Il semplice aumento delle dimensioni del modello non migliora le prestazioni né la capacità di generalizzazione.³

Infine, e anche se a prima vista sembra il contrario, non dobbiamo mai dimenticare che gli LLM non capiscono davvero quello che gli si chiede, sono solo molto bravi a ritrovare un ago in un pagliaio molto, molto, molto grande. Un LLM può spiegare per filo e per segno cos’è una “caratteristica I-V di una giunzione Josephson”, perché ha letto un sacco di libri e di articoli sull’argomento. Ma poi, quando si tratta di collegare il concetto ideale di “caratteristica I-V” con la sua rappresentazione sperimentale riportata in una figura, fallisce miserabilmente, dimostrando di essere solo un pappagallo bene ammaestrato.

C’è chi sostiene che gli LLM di ultima generazione siano in grado di scrivere da soli un intero compilatore C o decine di migliaia di righe di codice perfettamente funzionante.

Da parte mia, e molto più umilmente, mi accontenterei che questi modelli riuscissero a produrre un file di dati o una tabella in maniera ripetibile, senza incorrere in errori inspiegabili o in risultati incoerenti. E magari evitando situazioni incresciose come quelle che ho sperimentato, in cui una volta tutto procede senza problemi e la volta successiva non si riesce a cavare un ragno da un buco.

Ho usato anche la versione a pagamento di Gemini, gentilmente concessami dall’università, senza notare differenze rispetto alla versione gratuita. Chi sostiene che i modelli a pagamento facciano cose che quelli gratuiti si sognano dovrebbe fornire prove più che solide prima di essere creduto. ↩︎
K. Vafa et al., What Has a Foundation Model Found? Using Inductive Bias to Probe for World Models, arXiv 2507.06952v4, 2025. ↩︎
B. Yan et al., Inconsistency of LLMs in molecular representations, Digital Discovery vol. 4, 2025. ↩︎