一種用於理解神經網路中抽象表徵何時出現的數學理論

解鎖神經網絡中抽象思維背後的數學。 想像一個神經網路學習識別手寫數字的奇偶性和大小——無論數字是奇數或偶數、小或大。在生物大腦和人工網絡中，經常發生一些非凡的事情：任務的這些不同方面在神經元的活動中沿著獨立的、幾乎正交的方向進行編碼。這種乾淨的分離被稱為抽象或解耦的表徵，這種幾何形狀使系統能夠推廣到新的情況，甚至是超出其先前經驗的情況。 但是，為什麼這些抽象表徵如此一致，以及它們如何從學習過程中產生？這個問題讓神經科學家和機器學習專家都感到困惑，尤其是因為以前的大多數理論都集中在無監督學習方法上。新的數學見解現在揭示了一個強大而普遍的答案。 這項突破的核心是一個嚴謹的理論，該理論表明，當前饋神經網路在訓練時，任務直接依賴隱藏或潛在變數（例如奇偶性和大小標籤），抽象表徵不僅可能，而且不可避免。具體而言，在非線性網路的最後隱藏層中，這些潛在因素的表現自然與獨立的軸對齊。只要任務結構取決於這些潛在變數，無論啟動函數的細節或網路的深度如何，都會發生這種情況。 為了得出這個結論，研究人員開發了一個複雜的分析框架。他們沒有專注於網路中的數百萬個參數，而是放大了所有輸入中神經元活動的模式，即所謂的「神經元預啟動」。透過將權重的複雜優化轉化為這些神經模式上更易於管理的平均場問題，他們解鎖了一個精確的數學景觀。在這裡，資料的幾何形狀和任務標籤的結構決定了神經元編碼資訊的最佳方式。 此分析中的核心工具是「平行度分數」，這是衡量每個與任務相關的變數獨立於其他變數的表現程度的指標。當平行度接近 1 時，它表示一個完全抽象的表徵：改變一個變數（如奇偶性），會使神經活動朝著一致的方向移動，無論其他變數（如大小）的值如何。如果分數接近零，則變數無可避免地糾纏在一起。 透過這個視角，抽象的出現並非偶然。這是學習如何塑造網路以反映任務結構的直接結果。更令人信服的是，該理論適用於各種非線性與架構，同時捕捉到淺層與深層網路。 這個數學理論不僅解釋了訓練後的網路和真實大腦中抽象的普遍性，還提供了一個強大的工具包，用於預測和分析不同的任務、資料結構和網路設計如何產生特定類型的表徵。它連結了神經科學和人工智慧的世界，提供了對抽象思維如何從神經元的原始活動中產生的深刻、統一的理解，無論是矽或生物。