Uma teoria matemática para entender quando as representações abstratas emergem nas redes neurais

Desvendando a matemática por trás do pensamento abstrato em redes neurais. Imagine uma rede neural aprendendo a reconhecer a paridade e a magnitude dos dígitos escritos à mão, seja um número ímpar ou par, pequeno ou grande. Tanto em cérebros biológicos quanto em redes artificiais, algo notável costuma acontecer: esses diferentes aspectos de uma tarefa são codificados em direções separadas, quase ortogonais, na atividade dos neurônios. Essa separação limpa é conhecida como representação abstrata ou desvinculada, uma geometria que permite que os sistemas generalizem para novas situações, mesmo aquelas fora de sua experiência anterior. Mas por que essas representações abstratas aparecem de forma tão consistente e como elas emergem do processo de aprendizagem? Essa questão intrigou neurocientistas e especialistas em aprendizado de máquina, especialmente porque a maioria das teorias anteriores se concentrava em métodos de aprendizado não supervisionados. Novas descobertas matemáticas agora revelam uma resposta poderosa e geral. No centro dessa descoberta está uma teoria rigorosa que mostra que, quando uma rede neural feedforward é treinada em tarefas que dependem diretamente de variáveis ocultas ou latentes — como os rótulos de paridade e magnitude — as representações abstratas não são apenas possíveis, mas inevitáveis. Especificamente, na camada oculta final de uma rede não linear, as representações desses fatores latentes se alinham naturalmente com eixos distintos e independentes. Isso acontece independentemente das especificidades da função de ativação ou da profundidade da rede, desde que a estrutura da tarefa dependa dessas variáveis latentes. Para chegar a essa conclusão, os pesquisadores desenvolveram uma estrutura analítica sofisticada. Em vez de se concentrar nos milhões de parâmetros de uma rede, eles ampliaram os padrões de atividade dos neurônios — as chamadas "pré-ativações neurais" — em todas as entradas. Ao traduzir a otimização complexa sobre os pesos em um problema de campo médio mais gerenciável sobre esses padrões neurais, eles desvendaram um cenário matemático preciso. Aqui, a geometria dos dados e a estrutura dos rótulos de tarefas moldam a maneira ideal para os neurônios codificarem informações. Uma ferramenta central nesta análise é a "pontuação de paralelismo", uma medida de quão bem cada variável relevante para a tarefa é representada independentemente das outras. Quando a pontuação de paralelismo se aproxima de um, isso sinaliza uma representação perfeitamente abstrata: mudar uma variável, como a paridade, muda a atividade neural em uma direção consistente, não importa o valor de outras, como a magnitude. Se a pontuação estiver próxima de zero, as variáveis estão irremediavelmente emaranhadas. Através dessa lente, o surgimento da abstração não é acidental. É uma consequência direta de como a aprendizagem molda a rede para espelhar a estrutura da tarefa. Ainda mais convincente, a teoria se aplica a uma ampla gama de não linearidades e arquiteturas, capturando redes superficiais e profundas. Essa teoria matemática não apenas explica a prevalência da abstração em redes treinadas e cérebros reais, mas também fornece um poderoso kit de ferramentas para prever e analisar como diferentes tarefas, estruturas de dados e projetos de rede dão origem a tipos específicos de representações. Ela une os mundos da neurociência e da inteligência artificial, oferecendo uma compreensão profunda e unificadora de como o pensamento abstrato emerge da atividade bruta dos neurônios, sejam eles de silício ou biológicos.