Una teoría matemática para comprender cuándo surgen las representaciones abstractas en las redes neuronales

Desbloqueando las matemáticas detrás del pensamiento abstracto en las redes neuronales. Imagine una red neuronal que aprende a reconocer la paridad y la magnitud de los dígitos escritos a mano, ya sea un número impar o par, pequeño o grande. Tanto en cerebros biológicos como en redes artificiales, a menudo sucede algo notable: estos diferentes aspectos de una tarea se codifican a lo largo de direcciones separadas, casi ortogonales, en la actividad de las neuronas. Esta separación limpia se conoce como representación abstracta o desenredada, una geometría que permite a los sistemas generalizar a nuevas situaciones, incluso aquellas fuera de su experiencia previa. Pero ¿por qué estas representaciones abstractas aparecen de manera tan consistente y cómo surgen del proceso de aprendizaje? Esta pregunta ha desconcertado tanto a los neurocientíficos como a los expertos en aprendizaje automático, especialmente porque la mayoría de las teorías anteriores se centraban en métodos de aprendizaje no supervisados. Los nuevos conocimientos matemáticos revelan ahora una respuesta poderosa y general. En el corazón de este avance se encuentra una rigurosa teoría que muestra que cuando una red neuronal de prealimentación se entrena en tareas que dependen directamente de variables ocultas o latentes, como las etiquetas de paridad y magnitud, las representaciones abstractas no solo son posibles, sino inevitables. Específicamente, en la capa oculta final de una red no lineal, las representaciones de estos factores latentes se alinean naturalmente con ejes distintos e independientes. Esto sucede independientemente de los detalles de la función de activación o de la profundidad de la red, siempre que la estructura de la tarea dependa de esas variables latentes. Para llegar a esta conclusión, los investigadores desarrollaron un sofisticado marco analítico. En lugar de centrarse en los millones de parámetros de una red, se centraron en los patrones de actividad neuronal, las llamadas «preactivaciones neuronales», en todas las entradas. Al traducir la compleja optimización sobre los pesos en un problema de campo medio más manejable sobre estos patrones neuronales, desbloquearon un paisaje matemático preciso. Aquí, la geometría de los datos y la estructura de las etiquetas de tareas dan forma a la manera óptima para que las neuronas codifiquen la información. Una herramienta central en este análisis es la «puntuación de paralelismo», una medida de lo bien que se representa cada variable relevante para la tarea independientemente de las demás. Cuando la puntuación de paralelismo se acerca a uno, indica una representación perfectamente abstracta: cambiar una variable, como la paridad, desplaza la actividad neuronal en una dirección consistente, sin importar el valor de otras, como la magnitud. Si la puntuación es cercana a cero, las variables están irremediablemente enredadas. A través de esta lente, la aparición de la abstracción no es un accidente. Es una consecuencia directa de cómo el aprendizaje da forma a la red para reflejar la estructura de la tarea. Aún más convincente, la teoría se aplica a una amplia gama de no linealidades y arquitecturas, capturando redes tanto superficiales como profundas. Esta teoría matemática no solo explica la prevalencia de la abstracción en redes entrenadas y cerebros reales, sino que también proporciona un poderoso conjunto de herramientas para predecir y analizar cómo las diferentes tareas, estructuras de datos y diseños de redes dan lugar a tipos específicos de representaciones. Tiende un puente entre los mundos de la neurociencia y la inteligencia artificial, ofreciendo una comprensión profunda y unificadora de cómo el pensamiento abstracto emerge de la actividad bruta de las neuronas, ya sean de silicio o biológicas.