Il 20 ottobre, in un seminario online, Justin Reich, che al MIT dirige un laboratorio di ricerca sull’insegnamento, ha detto di un intero filone di studi che «non sono prove affidabili». Il filone è quello delle meta–analisi sull’intelligenza artificiale a scuola, le ricerche che raccolgono gli esperimenti fatti finora e ne combinano i risultati per dire da che parte pendono le prove. Ce ne sono trentanove, e tutte riportano benefici consistenti. Con Reich parlava Patrick O’Neill, che insegna all’Ivy Tech Community College. O’Neill ne ha sottoposte quattordici a un controllo minuzioso in un lavoro non ancora passato in revisione. La sua conclusione è che nessuna dà una base valida a quello che afferma. Il 61% degli studi primari estratti a campione per la verifica presenta problemi, il più delle volte perché misura altro da ciò che la meta–analisi gli attribuisce.

Le quattordici meta–analisi sono uscite su riviste dei maggiori editori scientifici, da Springer Nature a Wiley, e sono passate per la peer review. Hanno raccolto più di tremila citazioni e ne aggiungono circa duecento al mese. Uno degli studi primari che sei di loro hanno incluso, uscito nel 2023, cita fra le proprie fonti sei articoli su ChatGPT anteriori a ChatGPT. Uno è datato 2019, tre anni prima che il programma fosse aperto al pubblico, e il suo identificativo apre un articolo su tutt’altro. Nello stesso testo un indice statistico pari a 0,0403 viene definito «maggiore di 0,14». Quattro delle cinque meta–analisi che dichiaravano di valutare la qualità degli studi inclusi lo hanno accolto.

Delle quattordici, una sola è stata ritirata. Era uscita nel maggio 2025 su una rivista del gruppo Springer Nature, e la richiesta di ritiro era arrivata un mese dopo. La rivista l’ha ritirata lo scorso aprile, quasi un anno più tardi, con una nota di quarantacinque parole che parla di «discrepanze» nell’analisi e attribuisce le prime segnalazioni a due ricercatori. Nel frattempo lo studio era stato citato centinaia di volte. O’Neill ha esaminato le venti citazioni più recenti: sono tutte successive al ritiro e nessuna lo segnala. Il filtro c’era a ogni stadio, e a ogni stadio ha lasciato passare l’errore. L’unica correzione è partita da fuori.

Iscriviti al bollettino settimanale di Dissipatio

Lo stesso schema si ritrova fuori dalle riviste scientifiche. A maggio è uscito The Future of Truth, un libro del giornalista Steven Rosenbaum sugli effetti dell’intelligenza artificiale sul concetto di verità. Pochi giorni dopo il New York Times ha documentato che conteneva citazioni false o attribuite male, e Rosenbaum ha ammesso di aver usato ChatGPT e Claude nella ricerca, come aveva già dichiarato nei ringraziamenti. Anche qui il vaglio c’era. Le note ricavate con l’IA, segnalate come tali, erano passate, secondo Rosenbaum, a un verificatore e a due redattori forniti dall’editore. Su 285 citazioni di fonti esterne, il giornale ne ha indicate sei come problematiche, e tre non hanno alcuna fonte rintracciabile.

Il caso più istruttivo è il meno grave. Una frase di Meredith Broussard, docente alla New York University, è autentica, ma The Future of Truth la attribuisce a un suo libro, mentre lei l’aveva detta nel 2023 in un’intervista radiofonica. È cambiata solo la fonte, e tanto basta perché chi controlla nel libro di Broussard non la trovi e chi non controlla la ripeta con il riferimento sbagliato. Rosenbaum ha promesso di correggere i passi sbagliati nelle edizioni future; di ritirare le copie in circolazione non si è parlato. BenBella Books, il cui marchio ha pubblicato il libro, non ha risposto alle domande del giornale. Simon & Schuster, che lo distribuisce, ha rifiutato di commentare. Fra i responsabili del libro, l’unico a rispondere è stato chi non aveva il compito di verificarlo.

Il caso di Rosenbaum riguarda un libro, quello delle meta–analisi un settore. Una lettera pubblicata a maggio sul Lancet misura la stessa cosa su scala più ampia. Un gruppo guidato da Maxim Topaz, della scuola di infermieristica della Columbia University, ha costruito un sistema che controlla automaticamente i riferimenti bibliografici. Lo ha applicato a quasi due milioni e mezzo di articoli usciti fra il gennaio 2023 e il febbraio 2026 nella parte ad accesso aperto di PubMed Central, l’archivio pubblico della letteratura biomedica. Su 125 milioni di riferimenti ne ha verificati 97 milioni, quelli con un identificativo controllabile; libri e siti sono rimasti fuori. Ne ha trovati 4.046 che non corrispondono a nessuna pubblicazione esistente, distribuiti in 2.810 articoli. Tre esperti hanno ricontrollato a mano un campione di riferimenti segnalati: nove su dieci di quelli che il sistema dava per inventati lo erano davvero. Il sistema è tarato per segnalare solo i casi sicuri, e i riferimenti inventati che gli sfuggono non entrano nel conteggio.

Non sono riferimenti grossolani. Hanno titoli costruiti sul tema dell’articolo che li cita e sono attribuiti a ricercatori veri. In un articolo di chirurgia urologica uscito nel 2025 su una rivista di oncologia ad accesso aperto, erano inventati 18 riferimenti sui 30 verificati. Fra gli articoli usciti in ciascun anno, quelli che ne contengono almeno uno sono passati da uno su 2.828 nel 2023 a uno su 458 nel 2025, e a uno su 277 nelle prime sette settimane del 2026. Il salto comincia a metà del 2024, quando entrano in archivio gli articoli scritti dopo la diffusione dei modelli linguistici. Gli autori avvertono però che il loro sistema individua il problema e non la causa, e che possono aver pesato anche le fabbriche di articoli su commissione, le paper mill. Per non scambiare per inventati i riferimenti veri citati con un titolo abbreviato, hanno usato a loro volta un modello linguistico, e lo dichiarano nel metodo. Fra le rassegne, gli articoli che riassumono lo stato di un campo, quelli colpiti sono 16,7 ogni 10.000, contro 10,6 fra gli altri. Al febbraio 2026 nessuno dei 2.810 articoli era stato corretto per i riferimenti inventati. Due erano stati ritirati e 43 corretti con un’errata, per altri motivi; gli altri 2.765 non avevano ricevuto alcun intervento dell’editore.

Che il filtro ceda non stupisce, se si guarda a come funziona. Anzitutto la verifica non paga, nel senso più letterale. Al seminario di Reich e O’Neill partecipava anche Beth Tipton, docente alla Northwestern University e fra i maggiori esperti di meta–analisi. Racconta di ricevere ogni giorno richieste di revisione e di non poterle accettare tutte, perché controllare gli studi di base richiede giorni e la revisione dei pari è lavoro volontario. Il volume di quel lavoro gratuito è stato stimato da un gruppo di psicologi: nel 2020 i revisori di tutto il mondo vi hanno dedicato più di cento milioni di ore. Calcolate sullo stipendio di chi le ha prestate, le ore dei soli revisori statunitensi sarebbero costate più di un miliardo e mezzo di dollari, ed è una stima per difetto. Intanto redazioni ed editori in difficoltà economica tagliano sempre più spesso verificatori e redattori. La loro verifica poggiava su una presunzione che l’IA ha tolto di mezzo: chi cita un testo scritto, si dava per scontato, lo ha copiato. Una citazione presa da un testo era facile da controllare, e quindi poco sospetta. Se un modello linguistico è intervenuto in un punto qualsiasi del lavoro, fra la ricerca e la pagina stampata, la citazione potrebbe non esistere affatto.

Il vaglio, inoltre, è nelle mani di pochi. Il sociologo Manuel Castells, descrivendo la scienza come un sistema globale e insieme asimmetrico, notava che le pubblicazioni e le cariche sono controllate da un numero ristretto di istituzioni. Per chi legge, il nome della rivista o dell’editore vale come garanzia di tutto ciò che vi compare, e la garanzia si trasferisce al singolo studio anche quando nessuno lo ha controllato davvero. O’Neill descrive lo stesso meccanismo per le meta–analisi. Pubblicate su riviste autorevoli, conferiscono autorità ai loro autori, che hanno così più probabilità di essere scelti come revisori e di essere presi a modello da chi scrive la meta–analisi successiva.

Il meccanismo è più vecchio dell’intelligenza artificiale. Il 10 gennaio 1980 Jane Porter e Hershel Jick pubblicarono sul New England Journal of Medicine una lettera di un solo paragrafo, cinque frasi in tutto. Avevano esaminato gli archivi di 39.946 pazienti ricoverati in ospedale. Di questi, 11.882 avevano ricevuto almeno un preparato narcotico, e fra quelli senza precedenti di dipendenza i casi documentati in modo attendibile erano quattro, uno solo grave. Ne concludevano che, nonostante l’uso diffuso di narcotici negli ospedali, la dipendenza è rara nei pazienti che non ne hanno precedenti.

Nel 2017 un gruppo di ricercatori contò 608 citazioni della lettera. Nel 72,2% dei casi veniva citata come prova che la dipendenza da oppioidi è rara nei pazienti in terapia, e nell’80,8% chi la citava non diceva che i pazienti erano ricoverati. Le citazioni erano cresciute in modo netto dopo il 1995, quando arrivò sul mercato l’OxyContin, un oppioide a rilascio prolungato. Una lettera sui ricoveri era diventata, passando di testo in testo, una garanzia per le terapie di lungo periodo. Quando lo studio uscì, la rivista aggiunse in testa alla lettera una nota, un tipo di avvertenza che sotto quella direzione non aveva mai usato. La nota avverte che, per ragioni di salute pubblica, i lettori devono sapere che la lettera è stata citata «ampiamente e senza spirito critico». Non la ritirò, spiegò, perché si ritirano gli articoli che contengono frodi o errori gravi, e la lettera non conteneva né le une né gli altri.

La fonte era corretta, e l’errore stava tutto nella trasmissione. Come per la frase di Broussard, perché un errore circoli non serve inventare nulla: basta che chi cita prenda la fonte da chi l’ha citata prima. Gli strumenti di cui dispone chi certifica, il ritiro e l’errata, servono a correggere chi pubblica, non chi cita, e nel frattempo l’errore ha già fatto il suo corso.

Quando molti attingono allo stesso intermediario, senza risalire alla fonte, la catena non ha controlli indipendenti: le fonti sembrano molte e sono una. Un modello linguistico è un intermediario di questo tipo portato all’estremo, perché consegna a chiunque lo interroghi, con la stessa sicurezza, riferimenti che chi li riceve non ha letto. Il danno cresce dove le fonti vengono raccolte per decidere. Uno studio del 2025 ha esaminato 200.000 revisioni sistematiche di scienze della vita e biomedicina, le sintesi su cui si appoggiano le decisioni cliniche. Di queste, 299 includevano fra le prove articoli ritirati perché prodotti da paper mill, e 124 delle loro 385 citazioni erano successive al ritiro. La quota è bassa, ma è cresciuta nel tempo, e una di quelle revisioni è citata in una norma federale americana del 2023, che aggiunge il tumore dell’utero alle malattie riconosciute come legate agli attentati dell’11 settembre. Gli autori della lettera del Lancet ne traggono la conseguenza: quando una linea guida cita un articolo con una bibliografia in parte inventata, la catena delle prove su cui si decide una cura è compromessa.

Per leggere il Dispaccio
Entra nel Nucleo Operativo

Si dirà che gli editori si stanno attrezzando. Springer Nature dichiara che nel 2025 i suoi strumenti automatici hanno segnalato circa 25.000 articoli per problemi come immagini manipolate o riferimenti falsi. Il 26 ottobre ha annunciato con Google DeepMind un assistente basato sull’intelligenza artificiale per i revisori. Gli stessi autori del Lancet chiedono di verificare i riferimenti in modo automatico prima della revisione e di correggere quelli già pubblicati. Gli strumenti, scrivono, esistono già, e l’ostacolo sta nelle istituzioni. Uno strumento abbassa il costo del controllo e lascia intatto il resto. Chi certifica continua a non rispondere di ciò che lascia passare, e la correzione non raggiunge chi ha già citato. Le venti citazioni successive al ritiro della meta–analisi sono state scritte quando la correzione c’era già.

Anche chi corregge, del resto, può diffondere l’errore. Per decenni articoli e manuali hanno spiegato che la fama degli spinaci come fonte di ferro nasceva da una virgola spostata. Chimici degli anni Novanta dell’Ottocento avrebbero sbagliato i decimali, e chimici tedeschi avrebbero scoperto l’errore negli anni Trenta. A renderla famosa è stato un articolo del 1981 sul British Medical Journal, che non indicava alcuna fonte. Nel 1972 un nutrizionista aveva scritto che quella fama «potrebbe benissimo essere nata» da un errore del genere. In meno di dieci anni l’ipotesi è diventata un fatto, e i testi successivi non sono d’accordo nemmeno sulla data. L’antropologo Ole Bjørn Rekdal, ricostruendo la catena nel 2014, non ha trovato alcuna prova che quella virgola sia mai stata spostata. A ripetere la storia erano soprattutto autori che mettevano in guardia dalla scienza fatta male: uno degli articoli che l’hanno diffusa si intitola «La diffusione di dati falsi attraverso citazioni inadeguate». L’autore del 1981 ha ammesso l’errore nel 2010 e ha cercato di fermarne la diffusione fino alla morte, nel 2012, senza riuscirci. La correzione, quando arriva, percorre la stessa strada dell’errore, e parte in ritardo.