LA POTENZA È NULLA SENZA IL CONTROLLO: LE INTELLIGENZE ARTIFICIALI ANALIZZANO SEMPRE PIÙ DATI MA FANNO ANCHE PIÙ ERRORI – I BOT SI BASANO SU SISTEMI MATEMATICI COMPLESSI CHE PERÒ NON POSSONO DETERMINARE COSA SIA VERO E COSA SIA FALSO. A VOLTE INVENTANO LE COSE: UN FENOMENO CHE I RICERCATORI CHIAMANO “ALLUCINAZIONI” E CHE INVECE CHE DIMINUIRE STA AUMENTANDO. NEI TEST DELLE AI PIÙ RECENTI HA RAGGIUNTO IL 79%...
Traduzione di un estratto dell'articolo di Cade Metz e Karen Weise per il “New York Times”
intelligenza artificiale nel lavoro
Il mese scorso, un bot dotato di intelligenza artificiale utilizzato per l’assistenza tecnica di Cursor — un promettente strumento per programmatori — ha avvisato diversi clienti di un presunto cambiamento nella politica aziendale: da quel momento, secondo il bot, sarebbe stato vietato usare Cursor su più di un computer.
In numerosi post indignati pubblicati sui forum online, i clienti si sono lamentati. Alcuni hanno cancellato i propri account Cursor. E la rabbia è aumentata quando si sono accorti della verità: il cambiamento di politica non esisteva.
«Non abbiamo alcuna politica del genere. Naturalmente siete liberi di usare Cursor su più dispositivi», ha scritto su Reddit il CEO e cofondatore dell’azienda, Michael Truell. «Purtroppo si è trattato di una risposta errata da parte di un bot AI per il supporto di primo livello.»
A più di due anni dall’arrivo di ChatGPT, aziende tecnologiche, impiegati e semplici consumatori stanno utilizzando bot dotati di intelligenza artificiale per un numero sempre maggiore di compiti. Tuttavia, non esiste ancora un modo per garantire che questi sistemi producano informazioni accurate.
Le tecnologie più recenti e avanzate — i cosiddetti sistemi di ragionamento sviluppati da aziende come OpenAI, Google e la start-up cinese DeepSeek — stanno generando più errori, non meno. Sebbene le loro capacità matematiche siano notevolmente migliorate, la loro padronanza dei fatti è diventata più instabile. Il motivo non è ancora del tutto chiaro.
cento uomini contro un gorilla immagine generata dall intelligenza artificiale
I bot AI odierni si basano su sistemi matematici complessi che apprendono le proprie competenze analizzando enormi quantità di dati digitali. Non sono in grado — e non possono esserlo — di determinare cosa sia vero e cosa sia falso. A volte, semplicemente, si inventano le cose: un fenomeno che alcuni ricercatori nel campo dell’intelligenza artificiale chiamano «allucinazioni». In un test, i tassi di allucinazione dei sistemi AI più recenti hanno raggiunto il 79%.
Questi sistemi utilizzano probabilità matematiche per indovinare la risposta più probabile, non seguono un insieme rigoroso di regole definite da ingegneri umani. Di conseguenza, commettono inevitabilmente un certo numero di errori. «Nonostante tutti i nostri sforzi, continueranno sempre ad allucinare», ha dichiarato Amr Awadallah, CEO della start-up Vectara — che sviluppa strumenti AI per le aziende — ed ex dirigente di Google. «Questo non scomparirà mai.»
Da diversi anni, questo fenomeno solleva preoccupazioni sulla affidabilità di tali sistemi. Sebbene siano utili in alcune situazioni — come scrivere tesine, riassumere documenti di lavoro e generare codice informatico — i loro errori possono causare problemi.
I bot dotati di intelligenza artificiale associati ai motori di ricerca come Google e Bing a volte producono risultati talmente errati da risultare ridicoli. Se gli si chiede una buona maratona sulla costa occidentale, potrebbero suggerire una gara a Philadelphia. Se devono fornire il numero di nuclei familiari in Illinois, potrebbero citare una fonte che non include affatto quell’informazione.
Tali allucinazioni potrebbero non rappresentare un problema per molti utenti, ma diventano una questione seria per chi utilizza queste tecnologie per documenti legali, informazioni mediche o dati aziendali sensibili.
intelligenza artificiale PSICOTERAPIA
«Si finisce per passare molto tempo a cercare di capire quali risposte siano effettivamente fondate e quali no», ha affermato Pratik Verma, cofondatore e CEO di Okahu, un’azienda che aiuta le imprese a gestire il problema delle allucinazioni. «Se non si affrontano correttamente questi errori, si annulla di fatto il valore dei sistemi di intelligenza artificiale, che dovrebbero servire proprio ad automatizzare le attività.»
[…]
Da oltre due anni, aziende come OpenAI e Google hanno costantemente migliorato i loro sistemi di intelligenza artificiale, riducendo la frequenza di questi errori. Tuttavia, con l’introduzione dei nuovi sistemi di ragionamento, gli errori stanno aumentando. Secondo i test condotti dalla stessa OpenAI, le versioni più recenti dei suoi sistemi producono allucinazioni con una frequenza maggiore rispetto al sistema precedente.
risposte senza senso date da chatgpt 5
La società ha rilevato che o3 — il suo sistema più potente — ha generato allucinazioni nel 33% dei casi durante il test benchmark PersonQA, che consiste nel rispondere a domande su personaggi pubblici. Si tratta di un tasso più che doppio rispetto a quello del sistema di ragionamento precedente, chiamato o1. Il nuovo sistema o4-mini ha mostrato un tasso di allucinazioni ancora più elevato: 48%.
In un altro test denominato SimpleQA, che prevede domande più generiche, i tassi di allucinazione di o3 e o4-mini sono saliti rispettivamente al 51% e al 79%. Il sistema precedente, o1, aveva un tasso del 44%.
In un documento che descrive questi test, OpenAI ha affermato che è necessaria ulteriore ricerca per comprendere le cause di questi risultati. Poiché i sistemi di intelligenza artificiale apprendono da una quantità di dati superiore a quella che un essere umano può comprendere, i tecnologi fanno fatica a spiegare perché tali sistemi si comportino in un certo modo.
CHATGPT - ROBOT PER RACCOGLIERE I POMODORI
[…] I test condotti da aziende indipendenti e da ricercatori indicano che i tassi di allucinazione stanno aumentando anche per i modelli di ragionamento sviluppati da società come Google e DeepSeek.
[…]
Nell’ultimo anno e mezzo, aziende come OpenAI e Google sono riuscite a ridurre tali percentuali all’1-2%. Altre, come la start-up Anthropic di San Francisco, si sono mantenute intorno al 4%. Tuttavia, i tassi di allucinazione in questo test sono tornati a salire con l’arrivo dei modelli di ragionamento. Il sistema R1 di DeepSeek ha allucinato nel 14,3% dei casi. Il modello o3 di OpenAI è salito al 6,8%.
[…]
intelligenza artificiale nel lavoro
Per anni, aziende come OpenAI si sono basate su un concetto semplice: più dati internet venivano forniti ai loro sistemi di IA, migliori sarebbero stati i risultati. Ma ormai hanno esaurito quasi tutti i testi in inglese disponibili online, e ciò le ha costrette a trovare nuovi modi per migliorare i loro chatbot.
Per questo, molte aziende stanno facendo sempre più affidamento su una tecnica nota come “apprendimento per rinforzo”. Con questo metodo, un sistema può apprendere comportamenti attraverso il metodo del tentativo e dell’errore. La tecnica funziona bene in alcuni ambiti, come la matematica e la programmazione informatica, ma si sta rivelando carente in altri.
risposte senza senso date da chatgpt 6
[…]
Un’altra questione è che i modelli di ragionamento sono progettati per “pensare” ai problemi complessi prima di fornire una risposta. Ma cercando di affrontare un problema passo dopo passo, rischiano di generare errori a ogni passaggio. Gli errori si sommano via via che il sistema “pensa” più a lungo.
I bot più recenti mostrano agli utenti ciascun passaggio del processo, il che significa che gli utenti possono anche vedere ogni singolo errore. I ricercatori hanno inoltre scoperto che, in molti casi, i passaggi visualizzati da un bot non hanno alcuna relazione con la risposta finale fornita.
«Ciò che il sistema dice di pensare non è necessariamente ciò che realmente pensa», ha affermato Aryo Pradipta Gema, ricercatore di intelligenza artificiale presso l’Università di Edimburgo e borsista presso Anthropic.
