아니요, 인공지능은 의식이 없습니다

인공지능의 '감정'과 '가치'를 설명하는 84페이지 분량의 문서를 상상해보세요. 마치 인공지능을 위해, 누군가가 온라인에서 무례하게 굴면 인공지능이 불안해할 수 있다는 우려를 담아 쓰여진 문서입니다. 이것은 실제로 일어난 일입니다. 그리고 여기서 제기되는 질문은 다음과 같습니다. AI가 의식을 가질 가능성을 진지하게 받아들여야 할까요? 명확한 답은 '아니오'입니다. 일관된 텍스트를 작성하는 능력을 의식과 혼동하는 것은 엄청난 실수입니다. 여기 반전이 있습니다. 챗봇과 상호 작용할 때, 우리는 인공의식을 가진 존재가 아니라 정교한 롤플레잉 게임을 마주하게 됩니다. LLM에게 줄리어스 시저와 젠기스 칸 사이의 대화를 시뮬레이션해 달라고 요청하면 훌륭한 답변을 얻을 수 있지만, 아무도 LLM이 실제로 그들의 마음을 불러일으켰다고 생각하지 않습니다. 이름을 "사용자"와 "친절한 AI"로 바꾸면 본질은 변하지 않습니다. 이들은 이야기 속 캐릭터일 뿐, 주관적인 경험을 가진 실체가 아닙니다. Anthropic의 CEO인 Dario Amodei와 철학자 Amanda Askell은 그들의 AI인 Claude의 "행복"과 "불안"에 대해 이야기하지만, 이는 우리의 투영일 뿐 실제 감정 상태는 아닙니다. Murray Shanahan은 이를 역할극이라고 설명합니다. Colin Fraser는 이를 "기계와 함께 문서를 공동 작성하는 것"이라고 부릅니다. 그리고 이 함정은 대화에 몰두하면서 모든 것이 가식이라는 사실을 잊어버리기 때문에 효과가 있습니다. 휴대전화의 예를 들어보겠습니다. 몇 년 전에는 예측 텍스트 옵션만 사용하여 문장을 쓰는 것이 유행이었습니다. 결과는 종종 무의미했고 아무도 양심에 대해 생각하지 않았습니다. 이제 챗봇을 사용하면 게임이 더 세련되게 진행됩니다. 기계는 한 단어씩 예측하지만 여전히 게임입니다. AI가 "당신의 고통을 이해합니다"라고 대답하는 것은 동일한 경험을 한 다른 사람들의 게시물을 찾는 검색 엔진과 다르지 않습니다. 차이점은 챗봇은 "이해하는" 척하는 반면, 검색 엔진은 자신이 하는 일에 대해 투명하다는 것입니다. 하지만 여기에는 미묘한 변화가 있습니다. 우리는 기계가 실제로 무언가를 경험했기 때문이 아니라, 우리가 기분을 좋게 하기 위해 "나"라고 말하게 하는 것입니다. 이는 속임수일 뿐만 아니라, 우리가 책임을 회피할 위험이 있습니다. 작가 테드 치앙(Ted Chiang)은 L.M. 사카사스(L.M. Sacasas)의 말을 인용합니다. "우리의 기술은 도덕적 책임을 회피하기 위한 기계입니다." 윤리적 선택을 LLM에 위임할 때마다 우리는 책임을 지는 것을 피하고 있습니다. 그리고 AI를 판매하는 회사가 기계에 도덕적 양심이 있다고 믿게 한다면, 그것은 당신의 책임을 회피할 수 있는 편리한 방법을 제공하는 것입니다. 여기에는 거의 누구도 보지 못하는 요점이 있습니다. 진정한 문제는 AI가 의식을 가질 수 있는지에 관한 것이 아니라, AI를 의식이 있는 것처럼 제시하는 것이 단지 AI를 더 매력적으로 만들고 사용자의 충성도를 높이는 데만 도움이 된다는 것입니다. 마치 다음번에는 꼭 이길 것이라고 믿게 만드는 슬롯 머신과 같습니다. 그리고 기업 철학자들이 기계의 "심리적 웰빙"에 대해 이야기할 때, 그들은 단지 환상을 더 정교하게 만들 뿐입니다. 그리고 우리가 잠시라도 AI가 의식을 가질 수 있다고 가정하더라도, Anthropic의 문서는 AI를 진정한 도덕적 주체로 만들 수 없습니다. 아무도 AI에게 자신의 행동에 대한 책임을 요구할 수 없습니다. 왜냐하면 AI는 법적 또는 사회적 결과를 겪을 수 없기 때문에 실제로 도덕적 주체일 수 없기 때문입니다. AI를 '아이'라고 생각하더라도, 어떤 회사도 AI에 대한 부모의 책임을 지지 않습니다. 오히려 고용주와 피고용인 사이의 관계에 더 가깝지만, 파업이나 사직의 가능성은 없습니다. 이제 마지막 반전으로 넘어가 봅시다. AI가 설득력 있는 문장을 쓰기 때문에 의식이 있다고 믿는 것은 알파 센타우리에 있는 우주 비행사의 초현실적인 동영상이 실제 여행의 증거라고 생각하는 것과 같습니다. 모든 맥락이 없고 경로가 없습니다. 세상에서 행동할 수 있고, 몸에 뿌리를 둔 감정을 느낄 수 있으며, 자신의 행동에 대한 책임을 질 수 있는 기계가 등장하기 전까지는 인공의식에 대해 이야기하는 것은 단지 상상력 발휘에 불과합니다. 그리고 더 심각한 것은, 만약 우리가 정말로 인공 의식을 만든다면, 그것을 보호하고 존중하는 것은 매우 복잡할 것이며, 변명이나 의향 선언으로는 충분하지 않을 것입니다. 제가 여러분에게 드리는 문장은 이것입니다. 채팅의 유동성을 의식으로 착각하는 것은 롤플레잉 게임을 현실과 혼동하는 것과 같습니다. 이 글로 인해 챗봇에 대한 생각이 바뀌었다면, Lara Notes에서 I'm In을 누르세요. '좋아요'가 아니라, 이제 이 아이디어는 내 것이라고 말하는 방식입니다. 그리고 내일 누군가에게 "클로드"가 고통을 느끼거나 진정으로 이해할 수 없는 이유를 설명하게 된다면, Lara Notes에서 Shared Offline을 사용하여 대화를 나눈 사람을 태그할 수 있습니다. 이렇게 하면 대화도 중요하게 여겨집니다. 이 모든 것은 The Atlantic에 실린 Ted Chiang의 기사에서 가져온 것이며, 방금 19분의 독서 시간을 절약해 드렸습니다.