再帰はAIにおける次のスケーリングの法則です

わずか700万のパラメータでゼロからトレーニングされた人工知能モデルを想像してみてください。これは、数百倍の大きさでインターネット全体でトレーニングされたモデルを、数独や有名なArc Prizeテストなどの問題で凌駕するものです。不可能に思えますよね？しかし、2025年に2つの学術論文が示したのは、より良いパフォーマンスを得るためにモデルのサイズを無限に膨らませる必要はもはやないということです。真の転換点は、推論の瞬間、つまりモデルが推論するときに適用される再帰から生まれるのです。トレーニングのときではありません。AIについての考えは明確でした。モデルが大きければ大きいほど、パワーが増すということです。しかし、このルールは崩れつつあります。HRMやTRMなどの再帰モデルは、真の飛躍はスケールだけでなく、モデルが推論中に「複数のステップを考える」ことができるかどうかによってもたらされることを示しています。再帰、つまり同じルールセットで自分自身を何度も呼び出すことで、大規模な LLM が表面的にしか対処できない問題に取り組むことができます。この革命の主役の一人であるフランソワ・ショパールを例にとってみましょう。2016 年まで、AI に対する希望はすべて RNN にかかっていたと彼は語っています。しかし、RNN は、有名な「時間的バックプロパゲーション」のような技術的な問題によって制限されていました。この問題は、エラーが蓄積したり消えたりするために、より深いネットワークを混乱させるものでした。その後、トランスフォーマーが登場しました。トランスフォーマーはトレーニング中はすべてを並行して行い、これらの問題を回避しますが、代償があります。推論を行うたびに、コンテキスト全体を「記憶」しなければならないのです。まるで、ページを読むたびに、シェイクスピアの小説全体を持ち歩かなければならないかのようです。強力に見えますが、実際には、リストを並べ替えたり、数独を解いたりするなど、真の推論チェーンが必要なタスクで足を止めてしまいます。忘れられない例があります。LLM に 31 個の要素からなる長いリストを並べ替えるように依頼しても、モデルの「深さ」が 30 レベルしかない場合、単純にそれができないのです。これはデータの問題ではなく、構造的な障壁なのです。だからこそ、HRMとTRMが違いを生むのです。たとえば、HRMは、異なる部分が異なる周波数で動作する人間の脳からインスピレーションを得ています。低レベルでは迅速な詳細を処理し、高レベルではより遅く、深い戦略を制御します。しかし、本当の魔法は外部の洗練ループにあります。これは、モデルが自らの回答を何度も見直し、指数関数的に成長することなく毎回改善することを可能にする一種の「ループ」です。そして、その秘訣は、「ディープ・エクイリブリアム」と「トランケーテッド・バックプロパゲーション」と呼ばれるテクニックを使って、昔からのバックプロパゲーションの呪いを回避することにあります。つまり、すべての再帰にエラーを伝播させる代わりに、ある時点で停止して再開し、入力ではなく内部メモリ上にある種のミニバッチを作成するのです。実際には、各サイクルで、モデルは 2 種類のメモリを更新します。1 つは詳細を処理するローカルの ZL で、もう 1 つは全体像を追跡するよりグローバルな ZH です。このスキームにより、LLMが対処する問題を、チェーン・オブ・ソートのような「ハック」でのみ解決することが可能になります。つまり、すべての推論を段階的に書かせるか、Python関数のような外部ツールに委ねることになります。しかし、注意が必要です。これらの近道も、人間の知識が及ぶ範囲でしか機能しません。誰にも教えられることなく、マージソートのような新しいアルゴリズムをモデルに発見させたい場合、チェーン・オブ・ソートだけでは不十分です。しかし、真の再帰はそれを可能にします。数独の例は明白です。再帰モデルは、人間のデータによって段階的に導かれることなく、これまでに見たことのない戦略を発見することができます。さらに、TRM は極限まで簡素化を進めます。ネットワークの層を1つに減らし、パラメーターを2,700万個から700万個に減らすと同時に、Arc Prizeのようなタスクの精度を70%から87%に向上させます。これは論理を覆すものです。もはや「ただ大きくする」のではなく、「より深く考える」ことが必要なのです。ポッドキャストで引用されている研究者のメル・ミッチェルの言葉が、そのポイントを的確に表しています。「改善するために、より大きくすることは十分であり、必要ではありません。より多くの再帰を追加することは十分であり、必要ではありません。」 残る疑問は、この2つの力を本当に組み合わせるとどうなるかということです。もし将来、再帰的に推論することもできる巨大なモデルがあれば、そのモデルができることの規模は再び変化するでしょう。生物学からあまりにも多くのインスピレーションを得ることが正しい方法であると確信している人ばかりではありません。人間の脳から離れ、コンピューターに適応することで、機械学習がより良く機能することも時にはあります。これは、AlexNetからVGGへの移行で示されているように、「ニューロン」からのインスピレーションを放棄し、GPUに勝るシンプルさに焦点を当てたものです。しかし、問題がマルチステップの推論を必要とする限り、再帰によって小さなモデルが巨大なモデルに勝つことができるという事実は変わりません。今日、再帰モデルはタスクに特化しています。数独ができるTRMは迷路を解くことができず、その逆も同様です。しかし、この再帰を一般化する方法が見つかれば、テキストを模倣するだけでなく、「思考する存在として」真に推論することができるエージェントが生まれるでしょう。覚えておくべきフレーズは次のとおりです。AIの次のスケールの法則は、「大きいほど良い」だけでなく、「再帰的であればあるほど良い」ということです。この視点が人工知能に対するあなたの考え方を変えた場合、Lara Notesで I'm In を使ってそれを示すことができます。これは「いいね！」ではなく、このビジョンが今やあなたの一部であることを示す方法です。そして、明日、小さなモデルが再帰によって巨人を打ち負かすことができることを誰かに話す場合、Lara Notesでその人をShared Offlineでタグ付けすれば、その会話が失われることはありません。Y CombinatorによるDecodedのこのエピソードで、34分の視聴時間を節約できます。