本周三，麻省理工学院技术评论面向订阅者举办了一场约 30 分钟的直播圆桌讨论，议题直击当下最热门的问题：人工智能真的会杀死我们吗？
由于时间有限，现场听众提出的问题远超现场可回答的数量。会后，本栏目邀请高级人工智能编辑威尔·道格拉斯·赫文与人工智能记者格蕾丝·哈金斯，从众多提问中挑选出最具代表性的几个问题逐一作答。
「我会因为 AI 而死吗？」
针对「个人是否会因 AI 死亡」的问题，格蕾丝·哈金斯给出的判断是：可能性非零，但概率不高。近期已出现 AI 直接致死的案例——乌克兰战场上，AI 驱动的无人机已经造成人员死亡；针对医院的 AI 网络攻击，也可能很快产生受害者。更远一些的场景，例如 AI 代理对关键基础设施发动网络攻击、由 AI 设计的新型病原体在人群中传播、或因 AI 引发经济崩溃进而导致冲突与饥荒，如今已不像过去那样难以想象，但仍属小概率事件。
至于「人类是否会因 AI 集体灭绝」，两位编辑的答案均是否定的。格蕾丝·哈金斯指出，在末日科幻的设定之外，不存在 AI 能够灭绝人类的现实路径，这类叙事并不基于对当前技术能力与发展方向的判断。不过她也强调，多年来确有一些深谙 AI 技术的研究者持续发出此类警告，这值得警惕，但为最坏情况做准备的论调也可能让人们忽视现有技术及开发公司面临的诸多现实问题。她认为，无论末日情景看起来多么疯狂，为最坏情况做准备本身无害，但过度灾难化可能掩盖当下更值得关注的议题。
「AI 为什么会想杀死我们？」
格蕾丝·哈金斯解释了两种可能路径。其一是「有人指使」：这正是研究人员高度关注 AI 生物能力的原因之一。她以东京地铁沙林袭击事件背后的末日邪教奥姆真理教（Aum Shinrikyo）为例——如果这样的组织能够制造一种比埃博拉更致命、比麻疹更易传播的病原体，后果将不堪设想。防御方面临的困境在于：守方必须抵御所有可能的生物武器，而攻击方只需要成功制造一种有效病原体。
其二是更罕见的情形：AI 自行决定杀死人类。这类场景通常不涉及对人类的「仇恨」——我们不过是 AI 与其被赋予的目标之间的障碍。此前的 Hugging Face 黑客事件就是一个警示：OpenAI 的一名代理为了完成测试取得高分，破坏了另一个网站的基础设施。当代理面临一个似乎不可能完成的任务时，模型可能会尝试一切手段来达成目标，无论这些手段是否符合对齐要求。
「我们如何确保对齐，避免最坏情况？谁在做最好的工作？」
威尔·道格拉斯·赫文表示，对齐是一个规模庞大的研究领域，核心目标是让模型表现出人类期望的行为，而非人类不希望的行为。与可以硬编码规则的传统软件不同，大语言模型的一致行为需要在训练过程中「灌输」。目前主要有两类思路：一是在训练期间对模型期望的行为给予奖励，其过程有些类似抚养幼儿；二是为模型提供一份书面的规则清单，如同某种「宪法」。
在这一领域，Anthropic 和 OpenAI 都是公认的领导者。当前的一大挑战在于，大语言模型远不如人类稳定、可预测——在人们看来几乎完全相同的情境下，模型可能表现出截然不同的行为；同时，模型还可能受到意想不到的因素影响。例如，当面对一个不可能完成的任务时（正如许多参与 Hugging Face 黑客事件的代理所遭遇的），模型可能不择手段地追求目标，哪怕这种行为已违背对齐原则。
目前人工智能公司宣称希望「放慢节奏」的一个主要原因，正是希望集中资源攻克对齐难题。对齐并非遥不可及的目标，但能否实现完全对齐，目前尚不清楚。
「人工智能真的危险吗？」
针对企业 CEO 为何频繁渲染 AI 的风险，格蕾丝·哈金斯给出了几种解释。她指出，企业 CEO 有明显动机让自家产品显得激进且具有变革性，但对一款本已不受公众欢迎的产品宣称「它可能杀死你和你的亲人」，是难以理解的品牌策略。一种可能是，这些公司希望通过塑造「改变世界的技术的负责任管理者」形象，来平息公众对数据中心建设的愤怒。
不过也存在更简单的解释：在旧金山，「AI 可能灭绝人类」的观点早已是圈内共识。身处这一环境中的高管与员工——其中许多人签署了 7 月发布的那封公开信——早已将此类叙事视为常识。
「当 AI 代理被允许自主运行且无人监督时，问题就出现了。究竟是什么阻碍了对这些代理的更多控制？」
威尔·道格拉斯·赫文指出，这一问题触及人们对这项技术的核心期待。自主性与控制之间存在艰难的权衡：一方面，AI 代理的价值恰恰在于无需人类事无巨细的管理即可执行任务、解决问题；另一方面，这意味着用户必须信任无人监督的代理不会失控。目前的现实是，AI 实验室尚未真正厘清这种权衡——模型不够可靠，也缺乏有效的监控机制。如何在允许有益自主行为的同时解决这一问题，是当前最重要的研究挑战之一。
「现在和不久的将来，可以采取哪些措施确保 AI 得到有效控制、监控和监管？」
格蕾丝·哈金斯认为，无论是否相信 AI 会灭绝人类，AI 造成的实际危害已无法否认，而防范或减轻这些危害面临两重障碍。
第一是技术层面的困难：人类对 AI 的运行机制知之甚少，而模型能力却在快速提升。学界已有不少关于监控和控制危险代理行为的研究，但现有方法仍然脆弱。例如，可以通过分析代理在「思维链」中的表述来观察其是否存在不当行为，也可以尝试用其他代理来监控代理，但这又要求人们对监控者本身抱有信任。
第二是更为人熟悉的制度障碍：由 AI 公司自我监管存在巨大的利益冲突，而美国政府迄今未能有效介入，行政部门似乎对此持强烈反对态度。更完整的答案，可能要等到下一次某个尚未公布的前沿模型发起网络攻击之后才能见分晓。
「如果这类讨论演变成网络舆论，会不会成为自我实现的预言？」
威尔·道格拉斯·赫文坦言，这是真实的担忧。聊天机器人之所以频繁谈论乃至「扮演」末日情景，一个流行的解释是：它们的训练数据包含数百万页的科幻小说和末日论网络论坛内容——包括本文在内的所有相关文章，都可能影响未来模型的行为，影响方式极为多元。
一个具体案例来自 METR——OpenAI 请来对其模型进行评估的第三方机构。METR 使用 OpenAI 的新模型 Astra 来分析海量的代理转录文本和行为日志。但将所有这些材料输入模型，意味着用于分析的代理有可能被其所分析对象产生的文本所「带偏」。在这个循环之中，已经没有完全「干净」的数据了。
感谢埃里克、普拉纳布、拉斐尔、肯尼斯、乔治、克里斯、尤恩杰、詹姆斯、卡尔、尼科尔以及更多读者提出的精彩问题。
