本吉欧：“如果你将安全放在首位，那就离开前沿人工智能公司”

如今，世界上一些最优秀的人工智能研究人员正在离开该领域最先进的公司，这不是为了赚取更高的收入或改变职业生涯，而是因为他们认为自己正在从事的工作可能会危及人类的未来。深度学习的奠基人之一约书亚·本希奥（Yoshua Bengio）刚刚发出了一个直接的呼吁：如果你真心关心安全，就离开人工智能领域的科技巨头。直到不久前，就连他自己也认为人工智能的灾难性风险还很遥远，是可以控制的，而且其他人会及时找到解决方案。后来，随着ChatGPT和日益强大的模型的出现，这种疏离感荡然无存：“我意识到，我们的进展比想象中要快得多，而且我们实际上并不真正掌控这些系统。” 本吉奥表示，到那时，他别无选择：他将毕生精力投入到降低人工智能风险的工作中，在蒙特利尔创立了LawZero，这是一个致力于开发从设计上就安全的人工智能的组织，不向股东负责，也不受利润逻辑的约束。但他表示，这一转变并非没有代价。多年来，他一直无视那些预见到危险来临的同事发出的警告，坚信好处大于风险。只有日益增加的道德压力才促使他改变了方向。他并不是唯一一个。Anthropic 前员工雅各布·考克森（Jacob Coxon）在《时代周刊》上表示，在尖端人工智能公司中存在一种听天由命的情绪：“那里弥漫着一种近乎宿命论的氛围，许多人认为这场竞赛已经失控，他们只是尽可能以最安全的方式工作，即使他们认为一切仍可能出错。” 这就像每个人都被一种恐惧所束缚：一旦自己退出这场竞赛，其他人就会加速前进，将那些想要停下来思考的人远远抛在身后。然而，在班吉奥看来，这种恐惧并不能成为继续前进的理由：“我不认为我们会及时看到有效的监管，而且没有哪个国家或公司真正做好了以安全方式构建人工智能的准备。” 这就是问题的关键：让顶尖人才留在大公司工作的原因——获得数据、资源以及从内部施加影响的希望——被助长失控系统的具体风险所抵消。本吉奥还提到了原子弹发明后联合国的故事：1946年，美国提议将核武器置于国际管控之下，但没有人敢于迈出退出军备竞赛的第一步。“我们面临着一个选择。”他坚持说道。他说，这一次有一个真正的替代方案：为将安全置于首位的公司工作，例如 LawZero，该公司刚刚从加拿大和德国政府获得了超过 2 亿美元的资金。没有人大声说出的关键在于，个人选择真正至关重要：变革不会源于一次重大的集体决策，而是源于众多勇敢的个人选择的总和。这就是讨论中缺失的观点：真正的革命不是一种新技术，而是那些决定不再成为帮凶的人的道德反抗。本吉奥明确表示：“如果我们的工作不能造福于人类，或者更糟的是，如果我们的工作有可能造成灾难性损害，那么图灵奖就毫无价值。” 需要反复强调的一句话是：“我们单枪匹马无法阻止这场竞赛，但只要有足够多的人参与，就能做到。” 如果聆听这个故事让你以不同的视角看待自己在人工智能领域的工作，你可以在 Lara Notes 上用“我加入”来标记这一时刻——这是表明这个想法现在真正与你息息相关的一种姿态。如果几天后你发现自己正在与某人谈论此事，你可以在 Lara Notes 上使用“Shared Offline”功能来标记此人：这样他/她就会知道，对你来说，那次谈话很重要。这篇文章由 Transformer 提供，为您节省了 2 分钟的阅读时间。