AIの「推論」能力の奇妙な起源

2020年7月、4chanのゲーマー集団は、AI Dungeonの仮想キャラクターに数学の問題を「ステップバイステップで説明しながら」解くように依頼したところ、人工知能モデルが解答に到達しただけでなく、選択したキャラクターになりきって解答したことを発見しました。驚くべき点は、彼らが世界で初めて「思考チェーン」と呼ばれる技術の実践を見たことです。これは、大規模言語モデルが最終的な回答を出すだけでなく、推論の段階を説明できるようにする技術です。今日、大手テック企業のマーケティングでは、「推論するモデル」、「回答する前に考える」チャットボット、または「自らの思考を示すことができる」チャットボットについて語られています。しかし実際には、エンジニアリングの画期的な進歩のように見えるものが、悪名高いフォーラムでの卑猥な冗談やミームの間で生まれたものであるという事実があります。AI が人間のように推論するようになったという考え方は、その背後にある技術的な現実よりもはるかに新しい物語です。すべては誤解に端を発しています。私たちは、思考チェーンが段階的に詳細な説明を提供してくれるため、モデルが推論している証拠だと考えているのです。実際には、モデルは単に読んだテキストを真似ているだけなのです。その中には、「ちょっと待って、違う。問題は…」、「まずは入力内容を確認する必要がある」、「待って、でも…の場合は…」。推論するというより、推論しているふりをしているのです。このストーリーの主役は、GoogleやOpenAIの研究者ではなく、匿名のゲーマー集団と、若きコンピューターオタク、ザック・ロバートソンです。4chan では、過剰なコメントの中に、「人間の言語に基づいているのだから、意味のある回答を得るためには、人間と話すように話しかける必要があるのは理にかなっている」という投稿が見られます。一方、ロバートソンは、問題を複数のステップに分割することで「GPT-3の能力を強化する」方法についての投稿を公開し、2020年9月にそれを発表しました。彼自身は、AIにおける最も称賛される転機のひとつに貢献したことに気づいていませんでした。現在、ロバートソン氏はスタンフォード大学の博士課程に在籍していますが、その発見についてはほとんど覚えていないようです。投稿は、誰かが彼に知らせるまで消えてしまっていたのです。また、名声には興味がありません。問題の核心は次のとおりです。AIを開発する企業は、これらのモデルを「推論モデル」として販売し始めましたが、実際の違いは構造的なものではありません。思考チェーンが機能するのは、文脈が追加されるからです。質問に含まれる詳細が多いほど、モデルは正確な回答に向かって誘導されます。これは、ChatGPT に曖昧な質問をすると、曖昧な回答が返ってくることが多いのと同じ原理です。問題を複数のステップに分割すると、モデルはどこへ進めばよいか、より多くの手がかりを得ることができます。Apple は、「思考の錯覚」というタイトルの研究で、これらのモデルは問題を正しく解決できるものの、無関係な詳細を含めて質問が再構成されると失敗することを示しました。場合によっては、パフォーマンスが 65% 低下するのです。さらに、生成される思考の連鎖が、最終的な解答と実際には何の関係もない場合もあります。「機械が理性を持っているように見えるほど巧妙に私たちを欺くのなら、本当に理性を持っているのだ」と言う人もいます。しかし、データが示すのは別の話です。思考の連鎖は言語的な策略であり、機械の心への窓ではありません。チャットボットが「本当に考えている」とお思いだった方は、この話を読むことで、チャットボットの内部を見て、多くの場合、単に役割を演じているだけであることを知ることになるでしょう。思考の連鎖は巧妙に作られた演出であり、意識の証拠ではありません。Lara Notes には、他では見つけられないジェスチャーがあります：I’m In。ハートでも、いいねでもありません。それはあなたの宣言です。このアイデアは今、あなたに関係するものになったのです。さらに、AIの思考連鎖がゲーマーとミームの間でどのように生まれたかについて誰かと話し合う場合、Lara Notes では Shared Offline でその場にいた人をタグ付けできます。なぜなら、特定の話題は覚えておく価値があるからです。これは The Atlantic の記事です。原文を読むよりも 3 分以上も短縮できました。