AI의 '추론' 능력의 이상한 기원

2020년 7월, 4chan의 한 게이머 그룹은 AI Dungeon의 가상 캐릭터에게 수학 문제를 '단계별로 설명'하면서 풀어 달라고 요청하자, 인공지능 모델이 해결책에 도달했을 뿐만 아니라 선택한 캐릭터로 전환하여 해결책을 제시한다는 사실을 발견했습니다. 놀라운 점은, 그들은 오늘날 우리가 '사고 사슬'이라고 부르는 것을 실제로 목격한 세계 최초의 사람들 중 하나였다는 것입니다. '사고 사슬'은 대형 언어 모델이 최종 답변만 제공하는 것이 아니라 추론의 단계를 설명할 수 있게 해주는 기술입니다. 오늘날 빅테크 마케팅에서는 '추론하는 모델', '응답하기 전에 생각하는' 또는 '자신의 생각을 보여줄 수 있는' 챗봇에 대해 이야기합니다. 그러나 사실, 기술적 돌파구처럼 보이는 것은 악명 높은 포럼에서 외설적인 농담과 밈 사이에서 탄생한 것입니다. 인공지능이 인간처럼 생각하는 법을 배웠다는 생각은 그 뒤에 숨겨진 기술적 현실보다 훨씬 최근에 만들어진 이야기입니다. 모든 것은 오해에서 시작됩니다. 우리는 생각 사슬이 모델이 추론한다는 증거라고 생각합니다. 왜냐하면 생각 사슬은 단계별로 명확한 설명을 제공하기 때문입니다. 실제로 이 모델은 '잠깐만, 아니에요. 질문이…', '입력값을 먼저 확인해야 해요', '잠깐만, 하지만…'와 같은 문구가 가득한 수학 문제의 해결 방법 수십만 개를 포함하여 읽은 텍스트를 단순히 흉내내고 있을 뿐입니다. 문제는…”, “먼저 입력을 확인해야 해” 및 “잠깐, 하지만… 경우엔”과 같은 문구가 포함된 수학 문제의 해답 수백만 개를 포함합니다. 추론하기보다는 추론하는 것처럼 가장하는 것입니다. 이 이야기의 주인공은 Google이나 OpenAI의 연구원이 아니라, 익명의 게이머 그룹과 젊은 컴퓨터 애호가 Zach Robertson입니다. 4chan에서 누군가 과장된 댓글 중 한 곳에서 이렇게 썼습니다. “인간의 언어를 기반으로 하므로, 의미 있는 답변을 얻으려면 사람처럼 대화해야 한다는 것이 이해됩니다.” 한편, 로버트슨은 문제를 여러 단계로 나누어 ‘GPT-3의 능력을 강화’하는 방법에 대한 게시물을 작성하여 2020년 9월에 발표했습니다. 그는 자신이 AI의 가장 유명한 돌파구 중 하나에 기여했다는 사실을 알지 못했습니다. 현재 그는 스탠퍼드 대학에서 박사 과정을 밟고 있지만, 그 발견에 대해 거의 기억하지 못하는 것 같습니다. 그의 게시물은 사람들이 그에게 알려줄 때까지 사라졌으며, 그는 명성에 관심이 없습니다. 문제의 핵심은 다음과 같습니다. AI를 개발하는 기업들은 이러한 모델을 '추론 모델'로 판매하기 시작했지만, 실제 차이는 구조적 차이가 아닙니다. 사고 사슬은 맥락을 추가하기 때문에 효과적입니다. 질문에 포함된 세부 정보가 많을수록 모델이 정확한 답변으로 더 잘 유도됩니다. 이는 ChatGPT에 모호한 질문을 하면 종종 모호한 답변을 받는 것과 동일한 원리입니다. 문제를 여러 단계로 나누면 모델이 어디로 가야 하는지에 대한 더 많은 단서를 얻을 수 있습니다. Apple은 ‘사고의 착각’이라는 제목의 연구를 통해 이러한 모델이 문제를 올바르게 해결할 수 있지만, 관련 없는 세부 정보로 질문이 재구성되면 실패할 수 있다는 점을 입증했습니다. 일부 경우 성능이 65%까지 떨어지는 것으로 나타났습니다. 그리고 때로는 모델이 생성하는 사고 사슬이 최종 해결책과 실제적인 연관성이 없습니다. 어떤 사람들은 이렇게 말합니다. 만약 기계가 우리가 생각하는 것처럼 잘 속인다면, 그것은 정말로 생각하는 것입니다. 그러나 데이터는 다른 이야기를 합니다. 사고 사슬은 언어적 속임수일 뿐 기계의 마음을 들여다볼 수 있는 창이 아닙니다. 챗봇이 '진짜로 생각한다고' 여겼다면, 이 이야기는 챗봇의 내부를 들여다보고 챗봇이 종종 그저 역할을 수행하고 있다는 사실을 깨닫게 만들 것입니다. 사고 사슬은 잘 만들어진 연출일 뿐, 의식을 증명하는 것이 아닙니다. Lara Notes에는 다른 곳에서는 찾을 수 없는 제스처가 있습니다: I’m In. 하트도, 좋아요도 아닙니다. 이것은 당신의 선언입니다. 이제 이 아이디어는 당신과 관련이 있습니다. 게이머와 밈 사이에서 AI 사고 사슬이 어떻게 탄생했는지에 대해 누군가와 이야기할 경우, Lara Notes에서 Shared Offline으로 그 자리에 있던 사람들을 태그할 수 있습니다. 어떤 주제는 기억할 가치가 있기 때문입니다. 이 글은 The Atlantic에서 가져온 것입니다. 원문을 읽는 데 비해 3분 이상을 절약하셨습니다.