Une théorie mathématique pour comprendre quand les représentations abstraites émergent dans les réseaux neuronaux

Découvrir les mathématiques derrière la pensée abstraite dans les réseaux neuronaux. Imaginez un réseau neuronal qui apprend à reconnaître la parité et la grandeur des chiffres manuscrits, qu'un nombre soit impair ou pair, petit ou grand. Dans les cerveaux biologiques comme dans les réseaux artificiels, il se passe souvent quelque chose de remarquable : ces différents aspects d'une tâche sont codés selon des directions distinctes, presque orthogonales, dans l'activité des neurones. Cette séparation nette est connue sous le nom de représentation abstraite ou démêlée, une géométrie qui permet aux systèmes de généraliser à de nouvelles situations, même celles qui ne relèvent pas de leur expérience antérieure. Mais pourquoi ces représentations abstraites apparaissent-elles de manière si cohérente et comment émergent-elles du processus d'apprentissage ? Cette question a intrigué les neuroscientifiques et les experts en apprentissage automatique, d’autant plus que la plupart des théories précédentes se concentraient sur des méthodes d’apprentissage non supervisées. De nouvelles connaissances mathématiques révèlent maintenant une réponse puissante et générale. Au cœur de cette percée se trouve une théorie rigoureuse montrant que lorsqu’un réseau de neurones à rétroaction est formé à des tâches qui dépendent directement de variables cachées ou latentes, comme les étiquettes de parité et de magnitude, les représentations abstraites ne sont pas seulement possibles, mais inévitables. Plus précisément, dans la dernière couche cachée d'un réseau non linéaire, les représentations de ces facteurs latents s'alignent naturellement sur des axes distincts et indépendants. Cela se produit indépendamment des spécificités de la fonction d'activation ou de la profondeur du réseau, tant que la structure de la tâche dépend de ces variables latentes. Pour parvenir à cette conclusion, les chercheurs ont développé un cadre analytique sophistiqué. Au lieu de se concentrer sur les millions de paramètres d’un réseau, ils ont zoomé sur les modèles d’activité des neurones - les soi-disant « préactivations neuronales » - sur toutes les entrées. En traduisant l’optimisation complexe des poids en un problème de champ moyen plus gérable sur ces schémas neuronaux, ils ont débloqué un paysage mathématique précis. Ici, la géométrie des données et la structure des étiquettes de tâche façonnent la manière optimale pour les neurones de coder les informations. Un outil central de cette analyse est le « score de parallélisme », une mesure de la façon dont chaque variable pertinente pour la tâche est représentée indépendamment des autres. Lorsque le score de parallélisme approche de un, il signale une représentation parfaitement abstraite : la modification d’une variable, comme la parité, déplace l’activité neuronale dans une direction cohérente, quelle que soit la valeur des autres, comme la magnitude. Si le score est proche de zéro, les variables sont irrémédiablement enchevêtrées. À travers cette perspective, l’émergence de l’abstraction n’est pas un hasard. C'est une conséquence directe de la façon dont l'apprentissage façonne le réseau pour refléter la structure de la tâche. Plus convaincante encore, la théorie s’applique à un large éventail de non-linéarités et d’architectures, capturant à la fois des réseaux peu profonds et profonds. Cette théorie mathématique explique non seulement la prévalence de l’abstraction dans les réseaux entraînés et les cerveaux réels, mais fournit également une boîte à outils puissante pour prédire et analyser comment différentes tâches, structures de données et conceptions de réseaux donnent lieu à des types spécifiques de représentations. Elle relie les mondes des neurosciences et de l'intelligence artificielle, offrant une compréhension profonde et unificatrice de la façon dont la pensée abstraite émerge de l'activité brute des neurones, qu'ils soient en silicium ou biologiques.