Macchina

Immagine precedente Immagine successiva

ChatGPT ha fatto notizia in tutto il mondo con la sua capacità di scrivere saggi, e-mail e codice informatico in base ad alcune richieste di un utente. Ora un team guidato dal MIT segnala un sistema che potrebbe portare a programmi di apprendimento automatico diversi ordini di grandezza più potenti di quello dietro ChatGPT. Il sistema che hanno sviluppato potrebbe anche utilizzare diversi ordini di grandezza in meno di energia rispetto ai supercomputer all’avanguardia dietro gli odierni modelli di apprendimento automatico.

Nel numero del 17 luglio di Nature Photonics, i ricercatori riportano la prima dimostrazione sperimentale del nuovo sistema, che esegue i suoi calcoli basandosi sul movimento della luce, piuttosto che sugli elettroni, utilizzando centinaia di laser su scala micrometrica. Con il nuovo sistema, il team segnala un miglioramento di oltre 100 volte nell’efficienza energetica e un miglioramento di 25 volte nella densità di calcolo, una misura della potenza di un sistema, rispetto ai computer digitali all’avanguardia per l’apprendimento automatico. .

Verso il futuro

Nel documento, il team cita anche “sostanzialmente molti altri ordini di grandezza per miglioramenti futuri”. Di conseguenza, continuano gli autori, la tecnica “apre una strada ai processori optoelettronici su larga scala per accelerare le attività di apprendimento automatico dai data center ai dispositivi edge decentralizzati”. In altre parole, i cellulari e altri piccoli dispositivi potrebbero diventare in grado di eseguire programmi che attualmente possono essere elaborati solo nei grandi data center.

Inoltre, poiché i componenti del sistema possono essere creati utilizzando processi di fabbricazione già in uso oggi, “ci aspettiamo che possa essere adattato per uso commerciale tra pochi anni. Ad esempio, gli array laser coinvolti sono ampiamente utilizzati nell’identificazione del volto dei telefoni cellulari e nella comunicazione dei dati”, afferma Zaijun Chen, primo autore, che ha condotto il lavoro mentre era postdoc al MIT nel Laboratorio di ricerca di elettronica (RLE) ed è ora un ricercatore. professore assistente presso l'Università della California del Sud.

Dirk Englund, professore associato presso il Dipartimento di ingegneria elettrica e informatica del MIT e responsabile del lavoro, “ChatGPT è limitato nelle sue dimensioni dalla potenza dei supercomputer di oggi. Semplicemente non è economicamente fattibile addestrare modelli molto più grandi. La nostra nuova tecnologia potrebbe consentire il salto verso modelli di apprendimento automatico che altrimenti non sarebbero raggiungibili nel prossimo futuro”.

E continua: "Non sappiamo quali capacità avrà il ChatGPT di prossima generazione se sarà 100 volte più potente, ma questo è il regime di scoperta che questo tipo di tecnologia può consentire". Englund è anche a capo del Laboratorio di fotonica quantistica del MIT ed è affiliato al RLE e al Laboratorio di ricerca sui materiali.

Un ritmo di progresso

Il lavoro attuale è l’ultimo risultato di una serie di progressi compiuti negli ultimi anni da Englund e da molti dei suoi colleghi. Ad esempio, nel 2019 un team di Englund ha riportato il lavoro teorico che ha portato all’attuale dimostrazione. Il primo autore di quell'articolo, Ryan Hamerly, ora di RLE e NTT Research Inc., è anche autore dell'attuale articolo.

Altri coautori dell'attuale articolo di Nature Photonics sono Alexander Sludds, Ronald Davis, Ian Christen, Liane Bernstein e Lamia Ateshian, tutti di RLE; e Tobias Heuser, Niels Heermeier, James A. Lott e Stephan Reitzensttein della Technische Universitat Berlin.

Le reti neurali profonde (DNN) come quella dietro ChatGPT si basano su enormi modelli di apprendimento automatico che simulano il modo in cui il cervello elabora le informazioni. Tuttavia, le tecnologie digitali alla base delle attuali DNN stanno raggiungendo i loro limiti proprio mentre il campo dell’apprendimento automatico è in crescita. Inoltre, richiedono enormi quantità di energia e sono in gran parte confinati nei grandi data center. Ciò sta motivando lo sviluppo di nuovi paradigmi informatici.

L’uso della luce anziché degli elettroni per eseguire i calcoli DNN ha il potenziale per superare gli attuali colli di bottiglia. I calcoli che utilizzano l’ottica, ad esempio, hanno il potenziale di utilizzare molta meno energia rispetto a quelli basati sull’elettronica. Inoltre, con l’ottica, “puoi avere larghezze di banda molto più grandi” o densità di calcolo, afferma Chen. La luce può trasferire molte più informazioni su un’area molto più piccola.