Математическая теория для понимания того, когда абстрактные представления возникают в нейронных сетях

Раскрытие математики, лежащей в основе абстрактного мышления в нейронных сетях. Представьте себе нейронную сеть, которая учится распознавать четность и величину рукописных цифр — является ли число нечетным или четным, маленьким или большим. Как в биологическом мозге, так и в искусственных сетях часто происходит нечто примечательное: эти различные аспекты задачи кодируются в отдельных, почти ортогональных направлениях в активности нейронов. Это четкое разделение известно как абстрактное или распутанное представление, геометрия, которая позволяет системам обобщать новые ситуации, даже те, которые выходят за рамки их предыдущего опыта. Но почему эти абстрактные представления появляются так последовательно и как они возникают в процессе обучения? Этот вопрос озадачил нейробиологов и экспертов по машинному обучению, особенно с учетом того, что большинство предыдущих теорий были сосредоточены на методах обучения без контроля. Новые математические идеи теперь дают мощный и общий ответ. В основе этого прорыва лежит строгая теория, показывающая, что, когда нейронная сеть прямой связи обучается задачам, которые напрямую зависят от скрытых или латентных переменных, таких как метки четности и величины, абстрактные представления не только возможны, но и неизбежны. В частности, в последнем скрытом слое нелинейной сети представления этих скрытых факторов естественным образом совпадают с отдельными независимыми осями. Это происходит независимо от специфики функции активации или глубины сети, если структура задачи зависит от этих скрытых переменных. Чтобы прийти к такому выводу, исследователи разработали сложную аналитическую структуру. Вместо того, чтобы сосредоточиться на миллионах параметров в сети, они увеличили масштаб активности нейронов - так называемых «нейронных преактиваций» - по всем входам. Переводя сложную оптимизацию по весам в более управляемую проблему среднего поля по этим нейронным паттернам, они открыли точный математический ландшафт. Здесь геометрия данных и структура меток задач формируют оптимальный способ кодирования информации нейронами. Центральным инструментом в этом анализе является «показатель параллелизма», мера того, насколько хорошо каждая переменная, относящаяся к задаче, представлена независимо от других. Когда оценка параллелизма приближается к единице, это сигнализирует о совершенно абстрактном представлении: изменение одной переменной, такой как паритет, смещает нейронную активность в последовательном направлении, независимо от значения других, таких как величина. Если оценка близка к нулю, переменные безнадежно запутаны. С этой точки зрения появление абстракции не является случайностью. Это прямое следствие того, как обучение формирует сеть, чтобы отразить структуру задачи. Что еще более убедительно, теория применяется к широкому спектру нелинейностей и архитектур, охватывая как поверхностные, так и глубокие сети. Эта математическая теория не только объясняет распространенность абстракции в обученных сетях и реальном мозге, но и предоставляет мощный инструментарий для прогнозирования и анализа того, как различные задачи, структуры данных и сетевые конструкции порождают конкретные виды представлений. Она соединяет миры нейронауки и искусственного интеллекта, предлагая глубокое, объединяющее понимание того, как абстрактное мышление возникает из необработанной активности нейронов - будь то кремний или биологические нейроны.