재귀는 AI의 다음 확장 법칙입니다

수도쿠나 유명한 Arc Prize 테스트와 같은 문제에서 인터넷 전체에서 수백 배 더 크고 훈련된 모델을 능가하는, 7백만 개의 매개변수만으로 0에서 훈련된 인공지능 모델을 상상해보십시오. 불가능해 보이죠? 하지만 2025년에 두 개의 학술 논문은 더 나은 성능을 얻기 위해 모델의 크기를 무한대로 늘릴 필요가 없다는 것을 보여주었습니다. 진정한 돌파구는 추론 시점에 적용되는 재귀에서 나옵니다. 즉, 모델이 훈련할 때가 아니라 추론할 때입니다. AI에 대한 기존의 생각은 분명했습니다. 모델이 클수록 더 강력해진다는 것입니다. 하지만 이 규칙은 무너지고 있습니다. HRM 및 TRM과 같은 재귀 모델은 진정한 질적 도약이 규모에서만 오는 것이 아니라 모델이 추론하는 동안 재귀적으로 "여러 단계를 생각하는" 방법에서 오는 것임을 보여줍니다. 재귀, 즉 동일한 규칙 세트로 자신을 여러 번 호출하는 것은 대형 LLM이 표면적으로만 다루는 문제를 해결할 수 있게 해줍니다. 이 혁명의 주인공 중 한 명인 Francois Chopard를 예로 들어보겠습니다. 그는 2016년까지 AI에 대한 희망이 모두 RNN에 달려 있었다고 말합니다. 그러나 RNN은 축적되거나 사라지는 오류로 인해 가장 깊은 네트워크를 혼란에 빠뜨린 유명한 "시간을 통한 역전파"와 같은 기술적 문제로 제한된 재귀 모델이었습니다. 그런 다음 트랜스포머가 등장했습니다. 트랜스포머는 훈련에서 모든 것을 병렬로 수행하고 이러한 문제를 건너뛰지만 대가를 치릅니다. 추론해야 할 때마다 전체 맥락을 '기억'해야 합니다. 마치 한 페이지를 읽을 때마다 셰익스피어의 소설 전체를 가지고 다녀야 하는 것처럼 말이죠. 강력해 보이지만 실제로는 목록을 정렬하거나 스도쿠를 푸는 것과 같이 실제 추론 체인이 필요한 작업에서 막힙니다. 한 번 보면 절대 잊지 못할 예가 있습니다. LLM에 31개의 항목으로 구성된 긴 목록을 정렬하도록 요청했지만 모델에 "깊이"가 30개 수준밖에 없는 경우, LLM은 단순히 이를 수행할 수 없습니다. 이는 데이터의 문제가 아니라 구조적 장벽입니다. 이것이 HRM과 TRM이 차이를 만드는 이유입니다. 예를 들어 HRM은 서로 다른 부분이 서로 다른 주파수에서 작동하는 인간의 뇌에서 영감을 얻습니다. 빠른 세부 사항을 처리하는 낮은 수준과 더 느리고 심층적인 전략을 제어하는 높은 수준이 있습니다. 그러나 진정한 마법은 외부 개선 링에 있습니다. 일종의 "루프"로 모델이 자신의 답변을 여러 번 검토하여 매번 개선할 수 있게 해주며, 지수적으로 성장할 필요는 없습니다. 그리고 비결은 "딥 이퀼리브리엄"과 "트렁케이티드 백프로파게이션"이라는 기술을 통해 오래된 백프로파게이션의 저주를 우회하는 데 있습니다. 모든 재귀에 오류를 전파하는 대신, 한 지점에서 멈추었다가 다시 시작하여 일종의 미니 배치를 생성하지만 입력이 아닌 내부 메모리에 생성합니다. 실제로, 각 사이클에서 모델은 두 가지 유형의 메모리를 업데이트합니다. 하나는 세부 사항을 처리하는 로컬 ZL이고, 다른 하나는 전체적인 관점을 추적하는 보다 글로벌한 ZH입니다. 이 방식은 LLM이 chain of thought와 같은 "해킹"을 통해서만 해결하는 문제, 즉 모든 추론을 단계별로 작성하거나 Python 함수와 같은 외부 도구에 위임하는 문제를 해결할 수 있게 합니다. 그러나 주의하십시오. 이러한 지름길도 인간의 지식이 끝나는 곳에서 멈춥니다. 누구도 가르치지 않은 상태에서 모델이 병합 정렬과 같은 새로운 알고리즘을 발견하기를 원한다면, Chain of Thought만으로는 충분하지 않습니다. 반면에 진정한 재귀는 이를 가능하게 합니다. 스도쿠의 예는 분명합니다. 재귀 모델은 인간의 데이터에 의해 단계별로 안내받을 필요 없이 이전에 볼 수 없었던 전략을 발견할 수 있습니다. 그리고 더 많은 것이 있습니다. TRM은 단순화를 극단으로 이끕니다. 네트워크 레이어를 단 하나로 줄이고, 2,700만 개에서 700만 개로 매개변수를 줄였지만 Arc Prize와 같은 작업에서 정확도는 70%에서 87%로 올라갑니다. 이것은 논리를 뒤집습니다. 더 이상 "더 크게 가는 것"이 아니라 "더 깊이 생각하는 것"이 필요합니다. 그리고 팟캐스트에서 언급된 연구원인 Mel Mitchell의 한 문장이 이 요점을 잘 보여줍니다. “개선을 위해 더 크게 가는 것은 충분하지만, 꼭 필요한 것은 아닙니다. 더 많은 재귀를 추가하는 것은 충분하지만 필요하지는 않습니다.” 남은 질문은 이것입니다. 이 두 가지 힘을 실제로 결합하면 어떻게 될까요? 만약 미래에 재귀적으로 추론할 수도 있는 거대한 모델이 있다면, 그것들이 할 수 있는 일의 규모는 다시 바뀔 것입니다. 생물학에서 너무 많은 영감을 받는 것이 올바른 길이라는 데 모두가 동의하는 것은 아닙니다. 때때로 머신 러닝은 인간의 두뇌에서 벗어나 컴퓨터에 적응할 때 더 잘 작동합니다. AlexNet에서 VGG로의 전환이 보여주는 것처럼, "신경" 영감을 버리고 GPU에서 승리하는 단순성에 초점을 맞추는 것입니다. 그러나 문제는 여전히 남아 있습니다. 문제는 다단계 추론을 필요로 하는 한, 재귀를 통해 작은 모델이 거대한 모델을 능가할 수 있습니다. 오늘날 재귀 모델은 작업에 특화되어 있습니다. 스도쿠를 할 수 있는 TRM은 미로를 해결할 수 없으며, 그 반대의 경우도 마찬가지입니다. 그러나 이 재귀를 일반화하는 방법이 발견되는 즉시, 텍스트를 단순히 모방하는 것이 아니라 실제로 "생각하는 존재처럼" 추론할 수 있는 에이전트가 생길 것입니다. 기억해야 할 문구는 이것입니다. AI의 다음 규모 법칙은 단순히 "더 클수록 더 좋다"가 아니라 "더 재귀적일수록 더 좋다"가 될 것입니다. 이 관점이 인공 지능에 대한 당신의 사고 방식을 바꾸었다면 Lara Notes에서 I'm In으로 표시할 수 있습니다. 이것은 '좋아요'가 아니라 이 비전이 이제 당신에게도 속한다는 것을 말하는 방법입니다. 그리고 내일 누군가에게 재귀 덕분에 작은 모델이 거대한 모델을 이길 수 있다고 이야기한다면, Lara Notes에서 해당 사람을 Shared Offline으로 태그할 수 있습니다. 그러면 그 대화가 사라지지 않습니다. Y Combinator의 Decoded 에피소드 덕분에 34분의 청취 시간을 절약할 수 있습니다.