9 月 6 日，OpenAI 安全研究员帕乔基（Pacho）在题为“一个外星人的思想”的文章中发出警告。他认为，目前的对齐和监控技术可能很快将不足以应对机器智能的发展速度。
帕乔基描述了一个未来场景：人工智能在改进自身方面发挥越来越大的作用，这将大幅压缩人类监督和机构响应的时间窗口。
当前的人工智能安全研究主要聚焦于行为层面，例如系统被允许执行哪些操作、如何监控其行为以及人类在何处保留最终批准权。然而，每一个行动都始于第一步——判断哪些信息值得信任。这一步骤至关重要。
人工智能常基于来源不明的信息采取行动
在人工智能发送付款指令、重写软件或推动决策之前，它通常会依据搜索结果、公司记录、研究论文以及其他人工智能系统生成的材料来形成判断。
互联网的设计初衷是为了信息的流通与传播。随着信息在不同出版物之间转移，其原始出处往往逐渐消失。例如，一项源自研究论文的声明可能在新闻报道中被引用，当人工智能遇到此类陈述时，重建通往原始证据的路径变得极其困难。
此外，信息的权威性也在不断被稀释。经过同行评审的研究、公司公告和匿名网络帖子均以文本形式呈现给模型。人工智能系统能够对这些信息进行排序并整合成看似精细的答案，但用户很难区分文档证据、宣传内容和重复信息之间的差异。这种混淆加剧了问题的复杂性。
特别是在金融、医学、政治和新兴技术领域，值得信赖的消息来源经常得出相互矛盾的结论。由于人工智能通常因提供“有用”答案而获得奖励，这促使它在面对冲突信息时倾向于将其融合在一个单一句子中。这种做法很容易抹去不确定性，而恰恰在这些领域，不确定性应当被明确保留。
一旦人工智能具备行动能力，后果将显著放大。代理程序可以代表用户进行交易、批准购买、修改软件或发送消息。因此，基于不确定声明做出的决策可能导致不可逆转的后果。
有效的人类监督依赖于更优质的证据
人类监督的有效性取决于审查者是否拥有比人工智能更优质的信息，或者是否具备可靠的手段来核查人工智能所使用的数据源。
在许多情况下，虽然人类审核者可以访问人工智能搜索过的同一网页，但其处理速度远不及机器。人工智能可以在瞬间扫描成千上万个页面，而负责审批的人员只能依靠摘要和少量链接进行工作。随着人工智能能力的提升，审查过程有可能退化为一种程序性的签字确认，而非独立的实质性审查。
帕乔基指出，随着推理过程变得更加复杂，且人工智能具备操纵自身推理链条的能力，OpenAI 依赖思维链监控的效果正在减弱。他呼吁通过第三方审计师、政府机构或国际组织来实施严格的安全门槛。
这些保护措施旨在控制能力和行为。然而，值得信赖的监督还需要详细的证据记录，说明哪些信息导致了特定结论、每个主张的来源、来源的可信度以及是否存在可信的分歧。缺乏这样的记录，审稿人对答案的判断将难以超越对其背后证据的简单依赖。
人工智能继承了网络最脆弱的习惯
人工智能吸收了围绕速度、范围和复制建立的信息文化。搜索引擎、社交媒体、聚合器和存储库使得信息获取极为高效，但也鼓励创造出一个同一句话可以出现数百次的世界。
生成式人工智能加剧了这一效应，因为人工智能系统现在产生的内容会被后续的人工智能系统摄取。一个薄弱的说法可以被生成、删除、总结和重新发布，直到大量的重复赋予其共识的外观。
这造成了源头追溯困难的问题，且后果日益严重。每一代新的生成内容都可能进一步将一个陈述与其原始证据分离开来。一旦自主代理认为该陈述是可靠的，信息链就成为了决策链的一部分。对于普通消费者而言，这可能意味着糟糕的建议；但对于金融机构、保险公司或政府机构来说，风险则呈指数级增长。
自主人工智能需要完善的来源追踪系统
金融领域的核心问题在于责任归属。金融活动依赖于清晰的记录，以确定谁采取了行动、在谁的授权下、在什么条件下以及留下了何种审计轨迹。机构在这些记录上投入巨资，因为信任不仅需要一个可信的结果，还需要透明的过程。自主人工智能需要类似的信息纪律。
主张应当具有可追溯的来源，即使它们经过了复制和转换。个人或代理程序应该能够追溯陈述的起源，检查其背后的证据，并观察陈述在传输过程中如何变化。值得信赖的不同意见应保持完整。
如果存在信誉良好的消息来源分歧，系统应保留相互竞争的观点以及每个观点背后的信任程度。对于自主代理来说，不确定性可以作为触发进一步研究、寻求人类批准或采取更窄行动过程的信号。
责任也应伴随信息的传播。由可识别机构提出的、有支持证据的说法，应与数十页重复的未归属说法有所区别。目的是让人工智能在委托资源或代表某人采取行动之前，拥有更丰富的证据质量评估。
治理属于共同层面。来源标准、验证方法和问责规则需要多个机构的独立审查和参与，而不是依赖单一提供商的偏好。
结语
帕乔基认为，目前的调整和监控技术可能会限制实验室负责任地扩展人工智能工具的速度。他预计，在共同的安全门槛出现之前，行业将出现自愿放缓的现象。他还警告说，持续的进步可能会将人工智能带入递归自我改进的阶段，即人工智能将推动自身发展的更大份额。
这使得每一个开发自主系统的公司面临着一个基本任务：在行动之前确定代理人知道什么，并使这些知识可审核。
行为保护仍然是必不可少的，许可、审计和人类认可同样重要。但当每一个决定背后的信息都包含来源、背景和责任时，它们的价值将大大增加。因此，人工智能安全的下一阶段始于代理人看到的证据、它赋予证据的权威以及在采取行动之前保留的不确定性。
建立在可验证信息基础上的自主性为人类提供了更强大的控制基础。相反，不透明的信息会让监管机构难以检查决策过程。准备的窗口可能很窄，产业界应利用这一窗口构建能够展示知识来源的系统。
