L’AI e i Modelli Linguistici di Grandi Dimensioni stanno rivoluzionando il modo in cui interagiamo con la tecnologia, offrendo nuove prospettive e strumenti sia nel campo della comunicazione che in quello dell'informazione.
Questi modelli, potenti e versatili, hanno la capacità di comprendere, generare e manipolare il linguaggio umano in modi che fino a pochi anni fa erano inimmaginabili e che in maniera quasi paradossale sfuggono al controllo e alla comprensione totale anche di chi li crea e li studia.
Nel corso dell’articolo cercheremo di offrire una panoramica sui Large Language Models (LLM), prendendo come riferimento un articolo di MIT Technology Review.
Cos'è un Large Language Model?
Dopo aver analizzato Come Funziona l’AI, siamo pronti dunque a scoprire cosa sia un Modello Linguistico di Grandi Dimensioni, partendo dalla sua definizione fino a provare a delineare quelle che potranno essere le sue sfide e criticità presenti e future.
Un Modello Linguistico di Grandi Dimensioni (LLM) è una forma avanzata di intelligenza artificiale che analizza, comprende e genera testi. Utilizzando algoritmi di deep learning, questi modelli cercano di imitare la complessità e la varietà del linguaggio umano.
Il processo di addestramento include l'esposizione del modello a milioni, o anche miliardi, di parole, frasi e testi per apprendere schemi linguistici, grammaticali e di contesto. La capacità di generalizzare da questi dati gli permette di produrre testi coerenti e sorprendentemente umani, rispondere a domande e persino creare contenuti originali.
Tuttavia, come evidenziato dagli esperimenti di Yuri Burda e Harri Edwards di OpenAI, questi modelli possono anche imparare capacità inaspettate come l'aritmetica, attraverso processi che sfidano la nostra comprensione attuale dell'apprendimento automatico.
La Nascita e l'Evoluzione dei Modelli Linguistici di Grandi Dimensioni
La genesi dei LLM risale agli albori dell'intelligenza artificiale, ma solo recentemente questi modelli hanno guadagnato la capacità di manipolare il linguaggio in modo estremamente efficace, probabilmente grazie all’avvento dei trasformers, ovvero una classe di modelli che permette di avere un’analisi del testo più sofisticata e contestualizzata.
Due anni fa, i ricercatori Yuri Burda e Harri Edwards, appartenenti alla OpenAI con sede a San Francisco, hanno intrapreso un esperimento volto a comprendere le capacità di un modello linguistico di eseguire operazioni aritmetiche di base, come la somma di due numeri.
L'intento era di quantificare il numero di esempi necessari affinché il modello potesse apprendere a sommare autonomamente due numeri. Tuttavia, i risultati iniziali non furono promettenti: i modelli sembravano limitarsi a memorizzare le somme senza riuscire a generalizzare e risolvere nuovi problemi.
Per un fortuito errore, alcuni esperimenti proseguirono per giorni anziché per le ore previste, esponendo ripetutamente i modelli a esempi di somma. Questa prolungata esposizione ai dati portò a un risultato inaspettato: i modelli iniziarono effettivamente a sommare due numeri correttamente, dimostrando che era necessario un tempo di apprendimento significativamente più lungo del previsto.
Questo fenomeno, definito "grokking" da Burda ed Edwards, ha rivelato una capacità improvvisa dei modelli di comprendere e applicare concetti precedentemente irrisolti, contravvenendo alle aspettative tradizionali del deep learning, sollevando notevole interesse nella comunità scientifica.
Hattie Zhou, ricercatrice presso l'Università di Montreal e Apple Machine Learning Research, ha sottolineato l'importanza di rivalutare la nostra comprensione dell'apprendimento dei modelli AI, dato che potrebbero richiedere periodi di addestramento più lunghi di quanto inizialmente stimato. Lauro Langosco dell'Università di Cambridge ha evidenziato come il grokking sia solo uno dei tanti fenomeni che sfidano le attuali conoscenze matematiche e statistiche riguardanti il deep learning.
Criticità e Sfide dei LLM
Perché gli LLM funzionano allora così bene? Non abbiamo ancora una risposta precisa.
E proprio questo mistero e questa imprevedibilità rende il loro comportamento e la loro evoluzione così affascinante, come nel caso del grokking, un fenomeno che continua a sorprenderci e che ha spinto la comunità scientifica a chiedersi il perché effettivo di determinati comportamenti. Un interrogativo, però, la cui risposta non è ancora esaustiva.
Questa lacuna nella conoscenza teorica è stata messa in rilievo da Mikhail Belkin, dell'Università della California a San Diego, che rimarca come le attuali teorie siano distanti dalla realtà operativa di questi modelli avanzati.
La capacità di generalizzazione dei modelli, che consente di applicare conoscenze acquisite a nuovi contesti mai incontrati durante la fase di addestramento, è uno dei misteri più affascinanti. Questa capacità è stata particolarmente evidente in modelli come GPT-4 di OpenAI e Gemini di Google DeepMind, che hanno mostrato di poter estendere le loro competenze oltre i limiti linguistici e culturali.
Questa serie di scoperte e osservazioni ha generato un vivace dibattito all'interno della comunità scientifica, con alcuni ricercatori che cercano di costruire nuove teorie per spiegare questi fenomeni, mentre altri sostengono che le prestazioni dei modelli possano essere spiegate attraverso approcci statistici tradizionali, se solo si considerassero misure di complessità più appropriate.
È il caso di Alicia Curth, che studia statistica all'Università di Cambridge, e dei suoi colleghi, i quali sostengono che il fenomeno della doppia discesa – in cui i modelli sembrano funzionare meglio, poi peggio e poi ancora meglio man mano che diventano più grandi – deriva dal modo in cui è stata misurata la complessità dei modelli.
Hanno scoperto infatti che il numero di parametri potrebbe non essere un buon sostituto della complessità, perché l’aggiunta di questi a volte rende un modello più complesso, altre lo rende meno complesso. Dipende quindi da quali sono i valori, da come vengono utilizzati durante la formazione e da come interagiscono con gli altri, molti dei quali rimangono nascosti all'interno del modello. "La nostra conclusione è stata che non tutti i parametri del modello sono uguali", afferma Curth.
La sfida di comprendere a fondo il deep learning e i Modelli Linguistici di Grandi Dimensioni non è soltanto un quesito accademico; ha implicazioni pratiche significative per lo sviluppo futuro dell'intelligenza artificiale. Una maggiore comprensione teorica potrebbe non solo migliorare l'efficacia e l'efficienza dei modelli AI ma anche aiutare a prevedere e mitigare potenziali rischi associati a tecnologie più avanzate. In questo contesto, ricercatori come Boaz Barak di Harvard e i superalignment team di OpenAI guidato da Ilya Sutskever si dedicano a esplorare queste frontiere, cercando di garantire che i progressi nel campo siano sia rivoluzionari che sicuri.
Conclusioni
L'intelligenza artificiale e i Large Language Models hanno quindi segnato una rivoluzione tecnologica senza precedenti, aprendo nuove frontiere nel campo della comunicazione digitale e dell'elaborazione del linguaggio naturale.
Al centro di questa trasformazione si trovano le capacità straordinarie di apprendimento e generalizzazione dei modelli di AI, che hanno sollevato interrogativi fondamentali sulla natura stessa del deep learning e sul futuro dell'interazione uomo-macchina.
Sicuramente le prospettive e le potenzialità di tali Modelli Linguistici sono affascinanti ed in continua evoluzione, ma la comprensione approfondita rimane ancora ignota ed una vera e propria sfida per scienziati e ricercatori, Barak stesso afferma: "L'intelligenza è sicuramente uno dei grandi misteri del nostro tempo".
Condividi articolo
