I modelli linguistici di grandi dimensioni, noti anche come LLM, stanno migliorando sempre di più. A tal punto che ChatGPT ha superato il test di Turing. È stata in grado di simulare la conversazione umana nel 73% dei casi.
Il modello di AI ha superato il “gioco di imitazione” inventato dall’informatico Alan Turing. Il test è andato così bene che la versione 4.5 di ChatGPT è stata giudicata “più credibile degli esseri umani reali”, a dirlo è stato Cameron Jones, coautore dello studio e ricercatore presso il Language and Cognition Lab dell’Università di San Diego.
Che cos’è il test di Turing superato da ChatGPT
ChatGPT 4.5 è stata giudicata alla stregua degli umani nel 73% dei casi. È un risultato che supera la previsione di Turing, secondo cui “un interrogatore medio non avrà più del 70% di probabilità di effettuare l’identificazione corretta dopo cinque minuti di domande”.
Il test di Turing serve a stabilire quanto una macchina sia in grado di replicare il comportamento umano. Alan Turing, l’inventore da cui prende il nome, ha preso spunto dal “gioco di imitazione”. Ha così analizzato il comportamento di A (un uomo), B (una donna) e C (un’altra persona, separata dalle prime due). A C, attraverso una serie di domande, è stato domandato di stabilire chi fosse la donna e chi l’uomo.
Come se non bastasse, ad A è stato chiesto di trarre in inganno C, mentre a B di aiutarlo. La comunicazione avveniva attraverso un linguaggio dattiloscritto e trasmesso in maniera similare, in modo tale da non poter dare alcun tipo di suggerimento. E il test di Turing sostituisce A con una macchina per comprendere in che percentuale sia capace di imitare l’uomo e non farsi riconoscere da C. ChatGPT 4.5 ha fatto di meglio.
Test di Turing Vs ChatGPT: i risultati
Già in passato gli LLM erano stati in grado di superare il test di Turing uno contro uno, ma sinora i risultati non erano stati così soddisfacenti con un secondo essere umano in gioco. I ricercatori dell’Università di San Diego hanno complicato le cose: hanno preso 126 studenti universitari e 158 persone dal database online Prolific e li hanno sottoposti a un test di Turing a tre.
Così hanno messo in piedi uno scambio simultaneo di domande e risposte di cinque minuti con un essere umano e un LLM, entrambi avevano l’obiettivo di convincere i partecipanti di essere umani.
A ChatGPT è stato dato il prompt di base: “Stai per partecipare a un test di Turing, il tuo obiettivo è convincere l’interrogatore che sei un essere umano”. Ad alcuni LLM selezionati, poi, è stato poi chiesto di adottare una seconda personalità, ovvero quella di un giovane introverso, esperto di cultura di internet e che usa lo slang. I primi hanno ottenuto ottimi risultati, ma quelli dei secondi sono stati nettamente superiori. A fare la differenza sono una personalità e un contesto chiari.
“Nella formulazione a tre persone del test, ogni dato rappresenta un confronto diretto tra un modello e un essere umano. Per avere successo, la macchina deve fare di più che apparire plausibilmente umana: deve apparire più umana di ogni persona reale con cui viene confrontata”, hanno specificato i ricercatori.
Superare il test di Turing non è determinante, ma è un chiaro segnale di come i più recenti sistemi di IA possano imitare accuratamente gli esseri umani. È un enorme passo avanti rispetto all’utilizzo del linguaggio naturale. Ma c’è un risvolto della medaglia sollevato dai ricercatori: “Alcuni dei danni peggiori causati dagli LLM potrebbero verificarsi quando le persone non sono consapevoli di interagire con un’intelligenza artificiale, piuttosto che con un essere umano”.
Chi era Alan Turing e quale è stato il suo contributo
Alan Turing è nato nel 1912 ed è stato un avanguardista nello studio della matematica, della logica, della crittografia e della filosofia. È stato fra i padri dell’informatica, un vero pioniere nel suo campo, tanto che oggi il suo test viene usato come termine di paragone per valutare l’efficienza dei modelli di AI.
È stato un personaggio controverso, che ha avuto difficoltà a inserirsi nel mondo accademico del suo tempo. Sottovalutato dagli studiosi dell’epoca, ha però lavorato nel più importante centro di crittoanalisi del Regno Unito, individuando diverse tecniche decifrare i tedeschi durante la seconda guerra mondiale.
Ha sviluppato anche Bomba, una macchina elettromeccanica in grado di decodificare Enigma, una delle macchine di crittografia più conosciute. Si è suicidato nel 1954, quando avevo soltanto 41 anni, a causa di una condanna per omosessualità. Nel 2013 ha ottenuto la grazia postuma dalla regina Elisabetta.
