Una teoria matematica per capire quando emergono rappresentazioni astratte nelle reti neurali

Svelare la matematica dietro il pensiero astratto nelle reti neurali. Immagina una rete neurale che impara a riconoscere la parità e la grandezza delle cifre scritte a mano, indipendentemente dal fatto che un numero sia dispari o pari, piccolo o grande. Sia nei cervelli biologici che nelle reti artificiali, spesso accade qualcosa di straordinario: questi diversi aspetti di un compito vengono codificati lungo direzioni separate, quasi ortogonali, nell'attività dei neuroni. Questa netta separazione è nota come rappresentazione astratta o disgiunta, una geometria che consente ai sistemi di generalizzare nuove situazioni, anche quelle al di fuori della loro esperienza precedente. Ma perché queste rappresentazioni astratte appaiono così coerenti e come emergono dal processo di apprendimento? Questa domanda ha lasciato perplessi sia i neuroscienziati che gli esperti di apprendimento automatico, soprattutto perché la maggior parte delle teorie precedenti si concentrava su metodi di apprendimento non supervisionati. Nuove intuizioni matematiche rivelano ora una risposta potente e generale. Al centro di questa svolta c'è una rigorosa teoria che dimostra che quando una rete neurale feedforward viene addestrata su compiti che dipendono direttamente da variabili nascoste o latenti, come quelle di parità e grandezza, le rappresentazioni astratte non sono solo possibili, ma inevitabili. In particolare, nello strato nascosto finale di una rete non lineare, le rappresentazioni di questi fattori latenti si allineano naturalmente con assi distinti e indipendenti. Ciò accade indipendentemente dalle specifiche della funzione di attivazione o dalla profondità della rete, purché la struttura dell'attività dipenda da quelle variabili latenti. Per giungere a questa conclusione, i ricercatori hanno sviluppato un sofisticato quadro analitico. Invece di concentrarsi sui milioni di parametri in una rete, hanno ingrandito i modelli di attività dei neuroni, le cosiddette "preattivazioni neurali", su tutti gli input. Traducendo la complessa ottimizzazione dei pesi in un problema di campo medio più gestibile su questi schemi neurali, hanno sbloccato un preciso panorama matematico. Qui, la geometria dei dati e la struttura delle etichette delle attività modellano il modo ottimale per i neuroni di codificare le informazioni. Uno strumento centrale in questa analisi è il "punteggio di parallelismo", una misura di quanto bene ogni variabile rilevante per l'attività sia rappresentata indipendentemente dalle altre. Quando il punteggio di parallelismo si avvicina a uno, segnala una rappresentazione perfettamente astratta: la modifica di una variabile, come la parità, sposta l'attività neurale in una direzione coerente, indipendentemente dal valore di altre variabili come la grandezza. Se il punteggio è vicino allo zero, le variabili sono irrimediabilmente correlate. Attraverso questa lente, l'emergere dell'astrazione non è un caso. È una conseguenza diretta di come l'apprendimento modella la rete per rispecchiare la struttura del compito. Ancora più interessante è il fatto che la teoria si applica a una vasta gamma di non linearità e architetture, catturando sia le reti superficiali che quelle profonde. Questa teoria matematica non solo spiega la prevalenza dell'astrazione nelle reti addestrate e nei cervelli reali, ma fornisce anche un potente strumento per prevedere e analizzare come compiti, strutture di dati e progetti di rete diversi danno origine a specifici tipi di rappresentazioni. Colma il divario tra il mondo delle neuroscienze e quello dell'intelligenza artificiale, offrendo una comprensione profonda e unificante di come il pensiero astratto emerga dall'attività grezza dei neuroni, siano essi di silicio o biologici.