Usare un sistema non equivale a comprenderlo. E la differenza, nella pratica, non è irrilevante.

Ciao e buon lunedì!

Nell'estate del 2023, uno studio legale americano ha presentato dinanzi a un tribunale federale di New York un'istanza con sei citazioni giurisprudenziali a sostegno della propria tesi. Sei casi, con tanto di numeri di fascicolo, nomi di giudici, date. Il problema era che nessuno di quei casi era mai esistito. Erano stati generati da ChatGPT, che li aveva inventati con la stessa disinvoltura con cui ne avrebbe citati di reali. Il giudice Kevin Castel ha inflitto una sanzione di cinquemila dollari e ha scritto in sentenza che si trattava di "un attentato all'integrità del sistema giudiziario". Il caso si chiamava Mata v. Avianca, ed è entrato nei libri di testo del diritto dell'AI.

Ma ciò che è accaduto dopo mi sembra ancora più interessante.

Damien Charlotin, ricercatore all'HEC di Parigi, mantiene aggiornato un database mondiale delle allucinazioni prodotte dall'AI in atti giudiziari. A maggio 2026 il contatore segna 1.433 casi documentati in tribunali di tutto il mondo. Tra chi ha presentato atti con citazioni inventate figurano 128 avvocati e due giudici. (Fonte: Damien Charlotin, AI Hallucination Cases Database, aggiornato maggio 2026)

I giudici e gli avvocati non sono persone distratte. Sono, per formazione e per mestiere, alcune delle figure professionali più allenate a valutare le fonti, a distinguere il citabile dall'inaffidabile, a non fidarsi di un'affermazione senza averla verificata. Eppure continuano a farlo, in numero crescente, nonostante le sanzioni, nonostante le sentenze che fanno da esempio, nonostante le linee guida degli ordini professionali.

La spiegazione non è la negligenza, ma qualcosa di più strutturale: saper usare uno strumento non significa capire cosa fa.

L'uso dell'AI generativa, ovvero quei sistemi capaci di produrre testi, immagini e risposte in linguaggio naturale su richiesta dell'utente, è cresciuto a una velocità senza precedenti. Il Reuters Institute ha misurato la proporzione di persone che dichiarano di avere usato almeno una volta un sistema AI generativo in sei paesi (Argentina, Danimarca, Francia, Giappone, Regno Unito e Stati Uniti): era il 40% nel 2024, è salita al 61% nel 2025. L'uso settimanale, nello stesso periodo, è quasi raddoppiato, dal 18% al 34%. (Fonte: Reuters Institute, Generative AI and News Report, 2025)

Negli Stati Uniti, il 47% degli adulti dichiara di aver sentito molto parlare di AI, e il 31% di interagire con sistemi AI almeno più volte al giorno. (Fonte: Pew Research Center, giugno 2025)

Parallelamente, l'AI Act europeo, il primo regolamento al mondo sull'intelligenza artificiale, ha introdotto il 2 febbraio 2025 l'obbligo per tutte le organizzazioni che sviluppano o utilizzano sistemi AI di garantire un livello adeguato di "AI literacy" al proprio personale. Non è una raccomandazione: è un requisito legale in vigore. (Fonte: Commissione Europea, AI Act, articolo 4, entrato in applicazione febbraio 2025)

Il problema è che nessuno ha ancora stabilito con precisione cosa significhi "livello adeguato". E la distinzione tra chi sa usare un sistema AI e chi lo capisce davvero è molto più ampia di quanto sembri.

Uno studio del 2024 condotto da TeachAI ed EY ha misurato le competenze di valutazione critica dell'AI in studenti della Generazione Z, ovvero i giovani nati tra la metà degli anni Novanta e il 2010, considerati i nativi digitali per eccellenza. Quasi la metà di loro ha ottenuto risultati negativi nella sezione che valutava la capacità di identificare i limiti dell'AI e di riconoscere quando un sistema potrebbe produrre risposte errate. (Fonte: TeachAI/EY, 2024, citato nel WEF AI Literacy Report, maggio 2025)

Usare quotidianamente uno strumento, dunque, non produce automaticamente la capacità di valutarlo. Anzi: c'è una ricerca pubblicata sul Journal of Marketing nel 2025 che documenta il meccanismo opposto. Le persone con minore familiarità critica con l'AI tendono a percepirla come "magica", e questa percezione le rende più inclini ad accettarne i risultati senza verifica. Chi conosce meno, si fida di più. (Fonte: Tully, Longoni, Appel, "Lower Artificial Intelligence Literacy Predicts Greater AI Receptivity", Journal of Marketing, 2025)

Nel 2025, l'84% degli sviluppatori software usa o prevede di usare strumenti AI nel proprio lavoro. La quota di chi dichiara di fidarsi di quegli strumenti è al 29%: undici punti percentuali in meno rispetto all'anno precedente. (Fonte: Stack Overflow Developer Survey 2025)

È un risultato che vale la pena leggere con attenzione, perché va nella direzione opposta a quella che ci si aspetterebbe: più competenza tecnica, meno fiducia. Non perché gli sviluppatori siano diventati più prudenti per natura, ma perché chi usa questi sistemi ogni giorno, chi ne vede i fallimenti da vicino, chi è pagato per non fidarsi del codice prima di averlo testato, ha imparato qualcosa che la formazione standard sull'AI tende a non insegnare. Ha imparato dove il sistema sbaglia, quanto spesso, e con quale probabilità.

Questo fa sì che aumentare la formazione tecnica (la risposta più ovvia ai dati che ho riportato nella sezione precedente), sia qualcosa di necessario ma non sufficiente a risolvere il problema.

C'è un secondo dato, ancora più interessante. Ricercatori dell'Università di Toronto e dell'Università del North Carolina hanno studiato l'effetto dell'AI sul giudizio dei propri utenti misurando il cosiddetto effetto Dunning-Kruger, ovvero la tendenza documentata dalla psicologia cognitiva per cui chi sa meno tende a sopravvalutare le proprie capacità. Con l'AI, l'effetto classico scompare: gli utenti migliorano oggettivamente le loro prestazioni usando il sistema, ma si sopravvalutano comunque, indipendentemente dal loro livello reale di competenza. L'AI, sicché, non elimina il Dunning-Kruger: lo ridistribuisce in modo uniforme tra tutti gli utenti. (Fonte: RealKM, "AI is changing the Dunning-Kruger Effect", novembre 2025, basato su studio accademico con 692 partecipanti)

Il punto non è che l'AI sia inaffidabile. Il punto è che il sistema produce risposte con un tono di autorevolezza che tende a segnalare affidabilità anche quando non c'è. La fluidità del linguaggio, la coerenza dell'argomentazione, la sicurezza del tono: tutte caratteristiche che in un interlocutore umano si associano alla competenza. Un modello linguistico le riproduce strutturalmente, a prescindere dall'accuratezza del contenuto.

L'AI Act europeo definisce l'AI literacy come la capacità di comprendere i sistemi AI, le loro caratteristiche, i loro limiti, l'impatto che producono, ma questo non ha nulla a che vedere con la capacità di usarli correttamente. La distinzione è sottile sulla carta, ma nella pratica corrisponde alla differenza tra saper operare un'automobile e saperla guidare nel traffico di tutti i giorni senza fare incidenti.

Quando nel 1833 Charles Babbage progettò il primo prototipo di macchina calcolatrice meccanica, Ada Lovelace, la matematica e scrittrice che collaborava con lui, scrisse un pensiero trovo sia ancora straordinariamente attuale: "La macchina analitica non ha alcuna pretesa di originare qualcosa. Può fare solo quello che noi le ordiniamo di fare." È la prima formulazione precisa di un concetto che gli informatici chiamano oggi GIGO: garbage in, garbage out. Il sistema restituisce quello che gli viene chiesto, nella forma che l'addestramento ha reso più probabile. Non ragiona. Non verifica. Non sa di non sapere.

Il problema è che questo è esattamente il contrario di come la maggior parte degli utenti percepisce l'interazione con un sistema AI generativo. La risposta arriva fluente, articolata, ben strutturata. Il tono non mostra alcuna esitazione. Non ci sono segni esteriori che distinguano una risposta accurata da una inventata. Come ha scritto il gruppo di ricerca della Harvard Kennedy School Misinformation Review nell'agosto 2025, i modelli linguistici "producono confidenza a prescindere dall'accuratezza". (Fonte: Harvard Kennedy School Misinformation Review, 2025)

Questa caratteristica strutturale ha un nome tecnico: automation bias, ovvero il pregiudizio verso i sistemi automatizzati. È documentato dalla psicologia cognitiva dagli anni Novanta, quando l'aviazione civile cominciò a studiare i casi in cui i piloti ignoravano segnali allarmanti perché il pilota automatico sembrava funzionare correttamente. La stessa dinamica si ripropone con l'AI: la presenza di un sistema automatizzato tende a ridurre la vigilanza umana, non ad aumentarla. (Fonte: Passi, Dhanorkar, Vorvoreanu, "Addressing Overreliance on AI", in Handbook of Human-Centered Artificial Intelligence, Springer, 2025)

C'è un ultimo livello che merita attenzione, perché riguarda specificamente chi si occupa di formazione e politiche pubbliche. La questione dell'AI literacy non è solo individuale. È sistemica: se i professionisti che usano l'AI per prendere decisioni che riguardano terzi, siano essi avvocati, medici, funzionari pubblici o insegnanti, non hanno gli strumenti per valutare criticamente i risultati dei sistemi che usano, l'errore del singolo diventa struttura. Il bias del sistema diventa norma. L'allucinazione del modello diventa precedente giudiziario.

Ecco perché i 1.433 casi nel database di Charlotin non sono una curiosità aneddotica. Sono un indicatore: misurano il divario tra l'adozione di uno strumento e la comprensione di ciò che quello strumento può e non può fare.

Il dibattito pubblico sull'AI literacy mi sembra focalizzato sulla domanda sbagliata: quanta conoscenza tecnica bisognerebbe possedere?

Ritengo che la risposta giusta a questa domanda sia: molto meno di quanto si pensi, e molto di più di quello che si misura. Mi spiego meglio: non è necessario capire come funziona una rete neurale per usare responsabilmente un sistema AI. È necessario, tuttavia, capire che cosa non può fare. È necessario capire dove tende a sbagliare, e perché. È necessario sapere, soprattutto, che il sistema non sa di non sapere.

Questo è un tipo di conoscenza che assomiglia più alla filosofia che all'informatica. Saper riconoscere i limiti epistemici di uno strumento, ovvero i confini di ciò che uno strumento può conoscere e produrre, non richiede di saper scrivere codice. Richiede di saper fare domande scomode. Sapersi chiedere: questa risposta è verificabile? Questa fonte esiste? Questo ragionamento reggerebbe se lo attribuissi a un interlocutore umano? Avrei le stesse certezze se la risposta fosse arrivata in forma meno fluente?

La Commissione Europea, nell'introdurre l'obbligo di AI literacy per legge, ha scelto una definizione deliberatamente ampia: "conoscenza, competenze e comprensione che consentono ai fornitori, agli addetti all'implementazione e ai soggetti interessati di un sistema AI di farne un uso consapevole". Non dice "comprensione tecnica": dice "uso consapevole".

Ciononostante, il modo in cui gran parte dell'offerta formativa sul tema interpreta l'AI literacy va nella direzione opposta: prompt engineering, ottimizzazione degli output, strumenti per fare di più in meno tempo. Competenze strumentali, non critiche.

Il risultato è una generazione di utenti molto abili a estrarre risposte dai modelli, e molto poco attrezzata a valutarle: come insegnare a leggere veloce senza insegnare a distinguere un'argomentazione solida da una fallace.

C’è poi da chiedersi: se tutti applicassero davvero queste attenzioni quando usano quotidianamente l’AI generativa (per verificare le fonti, per validare i contenuti, per sondare la solidità delle argomentazioni), quanto questo rallenterebbe l’adozione di tali strumenti?

Un modello linguistico è addestrato a produrre testo fluente, coerente, ben strutturato. Questa fluidità non è un effetto collaterale: è l'obiettivo esplicito per cui il sistema è stato ottimizzato. Il risultato è che il modello tende a sembrare sicuro e autorevole a prescindere dall'accuratezza del contenuto specifico. Non c'è modo, leggendo la risposta, di capire se il modello stia operando nel territorio in cui è affidabile o in quello in cui sta inventando con la stessa disinvoltura. Il tono non cambia. La struttura non cambia. La sicurezza non cambia.

L'accuratezza, invece, è una proprietà dell’informazione stessa, non del sistema: o quella citazione esiste davvero, o non esiste. O quel dato è verificabile su una fonte indipendente, o non lo è. La veridicità del dato non si piega alla fluidità del testo.

Il problema pratico è che le due cose, nella lettura, si confondono con una facilità disarmante. Il cervello umano è abituato a trattare la sicurezza del tono come segnale di competenza, perché negli interlocutori umani lo è quasi sempre: chi non sa, di solito esita, si corregge, aggiunge cautele. Un modello linguistico non esita mai. Produce la stessa sicurezza che la risposta sia corretta o inventata, perché quella sicurezza è strutturale, non epistemica.

Riconoscere questa differenza cambia il modo in cui ci si relaziona con lo strumento. Non significa usarlo meno: significa verificare in modo indipendente quando la posta è alta, uscire dal sistema e confrontarsi con il mondo reale. E chiedersi, ogni tanto, cosa si farebbe se la stessa risposta fosse arrivata da un interlocutore umano: quali domande si farebbero, quali fonti si chiederebbero, quanta fiducia si concederebbe prima di agire. Riattivare quel senso critico ordinario che l'interfaccia dell'AI, con la sua fluidità, tende sistematicamente a sospendere.

A lunedì prossimo.

Alberto

Fonti principali di questo numero: