Come le reti neurali liquide del MIT possono risolvere i problemi dell'intelligenza artificiale, dalla robotica all'autoconsumo

Jul 21, 2023

Vai alla nostra libreria on-demand per visualizzare le sessioni di VB Transform 2023. Registrati qui

Nell’attuale panorama dell’intelligenza artificiale (AI), il fermento attorno ai modelli linguistici di grandi dimensioni (LLM) ha portato a una corsa verso la creazione di reti neurali sempre più grandi. Tuttavia, non tutte le applicazioni possono supportare le esigenze computazionali e di memoria di modelli di deep learning molto grandi.

I vincoli di questi ambienti hanno portato ad alcune interessanti direzioni di ricerca. Le reti neurali liquide, un nuovo tipo di architettura di deep learning sviluppata dai ricercatori del Computer Science and Artificial Intelligence Laboratory del MIT (CSAIL), offrono una soluzione compatta, adattabile ed efficiente a determinati problemi di intelligenza artificiale. Queste reti sono progettate per affrontare alcune delle sfide intrinseche dei tradizionali modelli di deep learning.

Le reti neurali liquide possono stimolare nuove innovazioni nell’intelligenza artificiale e sono particolarmente interessanti in aree in cui i tradizionali modelli di deep learning faticano, come la robotica e le auto a guida autonoma.

“L’ispirazione per le reti neurali liquide è stata pensare agli approcci esistenti all’apprendimento automatico e considerare come si adattano al tipo di sistemi critici per la sicurezza offerti dai robot e dai dispositivi edge”, ha detto a VentureBeat Daniela Rus, direttrice del MIT CSAIL. "Su un robot, non è possibile eseguire un modello linguistico di grandi dimensioni perché non c'è la potenza di calcolo e lo spazio di archiviazione necessari."

VB Trasforma 2023 su richiesta

Ti sei perso una sessione di VB Transform 2023? Registrati per accedere alla libreria on-demand per tutte le nostre sessioni in primo piano.

Rus e i suoi collaboratori volevano creare reti neurali che fossero precise ed efficienti in termini di calcolo in modo da poter funzionare sui computer di un robot senza la necessità di essere connessi al cloud.

Allo stesso tempo, si sono ispirati alla ricerca sui neuroni biologici presenti in piccoli organismi, come il verme C. Elegans, che svolge compiti complicati con non più di 302 neuroni. Il risultato del loro lavoro furono le reti neurali liquide (LNN).

Le reti neurali liquide rappresentano un significativo allontanamento dai tradizionali modelli di deep learning. Usano una formulazione matematica che è meno costosa dal punto di vista computazionale e stabilizza i neuroni durante l'allenamento. La chiave dell'efficienza degli LNN risiede nell'uso di equazioni differenziali regolabili dinamicamente, che consente loro di adattarsi a nuove situazioni dopo l'addestramento. Questa è una capacità non presente nelle tipiche reti neurali.

"Fondamentalmente ciò che facciamo è aumentare la capacità di apprendimento della rappresentazione di un neurone rispetto ai modelli esistenti attraverso due intuizioni", ha detto Rus. “Il primo è una sorta di modello di spazio degli stati ben educato che aumenta la stabilità dei neuroni durante l’apprendimento. E poi introduciamo non linearità sugli input sinaptici per aumentare l’espressività del nostro modello sia durante l’addestramento che durante l’inferenza”.

Gli LNN utilizzano anche un'architettura di cablaggio diversa dalle reti neurali tradizionali e consente connessioni laterali e ricorrenti all'interno dello stesso livello. Le equazioni matematiche sottostanti e la nuova architettura di cablaggio consentono alle reti liquide di apprendere modelli a tempo continuo in grado di regolare il loro comportamento in modo dinamico.

"Questo modello è molto interessante perché può essere adattato dinamicamente dopo l'allenamento in base agli input che vede", ha detto Rus. "E le costanti temporali che osserva dipendono dagli input che vede, e quindi abbiamo molta più flessibilità e adattamento attraverso questa formulazione del neurone."

Una delle caratteristiche più sorprendenti degli LNN è la loro compattezza. Ad esempio, una classica rete neurale profonda richiede circa 100.000 neuroni artificiali e mezzo milione di parametri per eseguire un compito come mantenere un’auto nella sua corsia. Al contrario, Rus e i suoi colleghi sono riusciti ad addestrare una LNN a svolgere lo stesso compito con soli 19 neuroni.

Questa significativa riduzione delle dimensioni ha diverse conseguenze importanti, ha detto Rus. Innanzitutto, consente al modello di funzionare su piccoli computer presenti nei robot e in altri dispositivi edge. In secondo luogo, con meno neuroni la rete diventa molto più interpretabile. L’interpretabilità è una sfida significativa nel campo dell’intelligenza artificiale. Con i modelli tradizionali di deep learning, può essere difficile capire come il modello sia arrivato a una particolare decisione.