AI e Large Language Models (LLM): Un Mistero Irrisolto

Perché gli LLM funzionano allora così bene? Non abbiamo ancora una risposta precisa.

E proprio questo mistero e questa imprevedibilità rende il loro comportamento e la loro evoluzione così affascinante, come nel caso del grokking, un fenomeno che continua a sorprenderci e che ha spinto la comunità scientifica a chiedersi il perché effettivo di determinati comportamenti. Un interrogativo, però, la cui risposta non è ancora esaustiva.

Questa lacuna nella conoscenza teorica è stata messa in rilievo da Mikhail Belkin, dell'Università della California a San Diego, che rimarca come le attuali teorie siano distanti dalla realtà operativa di questi modelli avanzati.

La capacità di generalizzazione dei modelli, che consente di applicare conoscenze acquisite a nuovi contesti mai incontrati durante la fase di addestramento, è uno dei misteri più affascinanti. Questa capacità è stata particolarmente evidente in modelli come GPT-4 di OpenAI e Gemini di Google DeepMind, che hanno mostrato di poter estendere le loro competenze oltre i limiti linguistici e culturali.

Questa serie di scoperte e osservazioni ha generato un vivace dibattito all'interno della comunità scientifica, con alcuni ricercatori che cercano di costruire nuove teorie per spiegare questi fenomeni, mentre altri sostengono che le prestazioni dei modelli possano essere spiegate attraverso approcci statistici tradizionali, se solo si considerassero misure di complessità più appropriate.

È il caso di Alicia Curth, che studia statistica all'Università di Cambridge, e dei suoi colleghi, i quali sostengono che il fenomeno della doppia discesa – in cui i modelli sembrano funzionare meglio, poi peggio e poi ancora meglio man mano che diventano più grandi – deriva dal modo in cui è stata misurata la complessità dei modelli.

Hanno scoperto infatti che il numero di parametri potrebbe non essere un buon sostituto della complessità, perché l’aggiunta di questi a volte rende un modello più complesso, altre lo rende meno complesso. Dipende quindi da quali sono i valori, da come vengono utilizzati durante la formazione e da come interagiscono con gli altri, molti dei quali rimangono nascosti all'interno del modello. "La nostra conclusione è stata che non tutti i parametri del modello sono uguali", afferma Curth.

La sfida di comprendere a fondo il deep learning e i Modelli Linguistici di Grandi Dimensioni non è soltanto un quesito accademico; ha implicazioni pratiche significative per lo sviluppo futuro dell'intelligenza artificiale. Una maggiore comprensione teorica potrebbe non solo migliorare l'efficacia e l'efficienza dei modelli AI ma anche aiutare a prevedere e mitigare potenziali rischi associati a tecnologie più avanzate. In questo contesto, ricercatori come Boaz Barak di Harvard e i superalignment team di OpenAI guidato da Ilya Sutskever si dedicano a esplorare queste frontiere, cercando di garantire che i progressi nel campo siano sia rivoluzionari che sicuri.

L'intelligenza artificiale e i Large Language Models hanno quindi segnato una rivoluzione tecnologica senza precedenti, aprendo nuove frontiere nel campo della comunicazione digitale e dell'elaborazione del linguaggio naturale.

Al centro di questa trasformazione si trovano le capacità straordinarie di apprendimento e generalizzazione dei modelli di AI, che hanno sollevato interrogativi fondamentali sulla natura stessa del deep learning e sul futuro dell'interazione uomo-macchina.

Sicuramente le prospettive e le potenzialità di tali Modelli Linguistici sono affascinanti ed in continua evoluzione, ma la comprensione approfondita rimane ancora ignota ed una vera e propria sfida per scienziati e ricercatori, Barak stesso afferma: "L'intelligenza è sicuramente uno dei grandi misteri del nostro tempo".