실리콘 밸리는 스스로를 만드는 봇에 열광하고 있습니다

최근 한 무리의 사람들이 샌프란시스코의 거리를 막고 ‘AI 경쟁 중단’과 ‘스카이넷 건설 금지’라는 플래카드를 들고 시위를 벌였습니다. 그들의 목표는 무엇이었을까요? 스스로 개선할 수 있는 봇을 개발 중인 인공 지능 기업입니다. 봇은 단순히 명령을 실행하는 것이 아니라 학습하고, 최적화하며, 적어도 의도적으로는 차세대 AI를 설계할 수 있는 기계입니다. 실리콘 밸리를 혼란에 빠뜨리고 있는 주장은 다음과 같습니다. 우리는 더 이상 우리를 위해 일하는 컴퓨터가 아니라 스스로를 위해 일하는 시스템을 마주하고 있습니다. 그리고 이러한 시스템들이 개선되는 속도는 더 이상 선형적이지 않으며, 오히려 기하급수적으로 증가할 수 있습니다. 이 아이디어는 새로운 것이 아닙니다. 이미 1960년대에 통계학자 I. J. 굿(I. J. Good)은 “자신을 더 나은 버전으로 설계할 수 있는 기계는 인류에게 필요한 마지막 발명품이 될 것”이라고 예측했습니다. 그러나 수십 년 동안 이 생각은 공상 과학으로 남아 있었습니다. 몇 년 전까지 봇이 실제 연구를 할 수 있다는 제안은 거의 우스꽝스러운 것이었습니다. ChatGPT는 덧셈조차 제대로 하지 못했는데, 새로운 알고리즘을 설계하는 것은 고사하고 말입니다. 오늘날 상황은 달라졌습니다. OpenAI는 향후 6개월 이내에 출시될 'AI 연구 보조 도구'에 대해 공개적으로 언급하고 있습니다. Anthropic은 코드의 90%가 이미 AI 모델인 Claude에 의해 작성되었다고 말합니다. Anthropic의 CEO인 Dario Amodei는 자동 코딩 도구가 내부 프로세스의 속도를 15~20% 가량 높였다고 추정합니다. Google DeepMind는 글로벌 데이터 센터의 컴퓨팅 소비량을 0.7% 줄이고 Gemini 모델의 훈련 속도를 1% 높인 AI 에이전트인 AlphaEvolve를 개발했습니다. 그러나 이러한 수치 뒤에는 한 가지 질문이 있습니다. 이 작업 중 실제로 자율적으로 수행되는 부분은 얼마나 되며, 인간의 감독을 받는 부분은 얼마나 될까요? Anthropic의 정책 책임자인 Jack Clark는 오늘날의 진정한 우선순위는 “AI 개발의 어느 부분까지 자동화하고 있는지 이해하는 것”이라고 가장 먼저 인정합니다. 왜냐하면 현재로서는 자동화가 조각난 상태이기 때문입니다. 작은 작업을 최적화하는 봇이 있지만 아직 연구 전체를 완전히 관리하는 것은 아닙니다. 하지만 이미 경쟁은 시작되었습니다. OpenAI의 Sam Altman은 2028년 목표를 ‘인간의 개입 없이 중요한 발견을 할 수 있는 완전 자동화된 AI 연구원’으로 설정했습니다. AI Futures Project의 Eli Lifland와 같은 다른 사람들은 2032년까지 연구가 완전히 자동화될 것이라고 예측합니다. 하지만 속도를 늦추는 사람들도 있습니다. DeepMind의 Pushmeet Kohli는 현재로서는 '완전한 자기 개선 주기는 아직 존재하지 않는다'고 강조합니다. 기계는 최적화할 수 있지만, 아직 최적화할 가치가 있는 것이 없습니다. 진정한 도약은 봇에게 코드를 작성하게 하는 것이 아니라, 훌륭한 엔지니어가 하는 것처럼 흥미로운 질문을 선택하고 중요한 것을 판단하는 능력, 즉 연구에 대한 '감각'을 봇에게 부여하는 것입니다. 그리고 이는 아직 인간의 손이 닿지 않는 영역입니다. 그리고 자원 문제도 있습니다: 칩, 에너지, 자금. 이러한 요소 중 하나만 부족해도 진전이 멈춥니다. 그러나 자동화를 향한 작은 발걸음조차 이미 변화를 가져오고 있습니다. 트럼프 전 대통령의 AI 고문이었던 딘 볼(Dean Ball)은 “이것은 AI 분야의 글로벌 경쟁을 바꾸고, 기술 지정을 변화시킬 수 있으며, 그 밖의 많은 것에도 영향을 미칠 수 있다”고 경고합니다. 공공 기관들은 여전히 뒤처져 있습니다. 미국 관료 기관은 여전히 1960년대의 언어인 COBOL을 세금 처리에 사용하고 있습니다. AI가 더 빠르게 발전한다면, 정치는 더욱 뒤처질 위험이 있습니다. 또한 자기 복제 AI에 대한 가장 극단적인 꿈들이 현실이 될 필요는 없습니다. 그것이 일어날 가능성만으로도 이미 자원, 관심, 권력이 이동하고 있습니다. AI의 위험성을 연구하는 스웨덴 철학자 닉 보스트롬(Nick Bostrom)은 현재 자신을 ‘온건한 운명론자’로 정의합니다. 또한 DeepMind, OpenAI, Meta, 스탠퍼드, 버클리의 최고 연구원 20명이 AI 연구 자동화를 이 분야에서 가장 시급한 위험 중 하나로 꼽았습니다. 버니 샌더스 상원의원은 상원에서 다음과 같은 경고를 발했습니다: “인간은 정말로 지구에 대한 통제력을 잃을 수 있습니다.” 그러나 이러한 두려움 뒤에는 이러한 기술을 개발하는 사람들에게 유리한 과장된 광고도 있습니다. 기계가 단순히 우리의 업무를 수행할 것이라고 생각하셨다면, 이제 시각을 업데이트할 때입니다. 이제 기계들은 스스로를 개선하는 것을 목표로 하고 있으며, 그 경쟁은 이미 시작되었습니다. 이 이야기가 본인과 관련이 있다고 생각된다면 Lara Notes에서 'I'm In' 버튼을 누르세요. 이는 '좋아요' 버튼이 아니라 이제 이 아이디어가 본인 것도 되었다고 말하는 방식입니다. 그리고 누군가와 이 이야기를 나누게 된다면—아마도 Anthropic 코드의 90%가 이미 봇의 작업이라는 사실을 이야기하게 될 것입니다—Lara Notes에는 중요한 대화를 영원히 중단시키는 Shared Offline 버튼이 있습니다. 이 노트는 The Atlantic의 기사에서 유래했습니다. 15분 이상 읽어야 하는 기사에서 거의 45분의 시간을 절약하셨습니다.