Anthropic开源FlashProve验证系统

Anthropic开源FlashProve验证系统。该系统通过密码学证据确认AI输出来源,可防止模型被秘密替换或虚增性能数据。目前技术规范及代码已在GitHub发布,仍处于研究阶段。

Anthropic 近日发布博客文章,宣布正在开发一款名为 FlashProve 的开源验证系统。该系统旨在通过密码学证据确认特定 AI 输出的来源模型,这一概念被研究人员称为“可证明推断”。

指纹不含权重,支持本地验证

FlashProve 的核心功能在于让用户核实收到的答案是否确实来自其预期使用的模型。其运作机制类似于加密电子邮件签名:收件人可通过签名确认消息发送者的身份。该系统设计用于抵御假冒行为,防止模型伪装成其他模型,即便假冒者是构建并运行该模型的实验室本身。

据研究人员介绍,FlashProve 可有效遏制 AI 公司通过秘密替换更廉价模型以降低成本,或替换更昂贵模型以虚增性能数据的行为。此外,该系统还可用于第三方验证场景,例如开发者声称其软件库由具备高级网络安全能力的模型扫描过漏洞,或企业声称其商业计划经过特定模型的审批。在这些情况下,用户可借助 FlashProve 验证相关声明的真实性。

在技术实现上,AI 实验室需为其发布的每个模型生成唯一的“指纹”。这些指纹随后可与特定输出进行匹配,并通过密码学方法完成验证。关键在于,指纹并不包含定义模型行为的内部权重参数,这意味着实验室可在不泄露核心资产的前提下公开指纹信息。同时,系统设计注重轻量化,支持在本地设备上进行验证操作。

作为公告的一部分,Anthropic 已在 GitHub 上以开源许可形式发布了 FlashProve 的详细技术规范及工作代码。目前该系统仍处于研究阶段,尚未计划在 Anthropic 或其他实验室部署。

研究人员在公告中强调,此次分享旨在展示中期进展而非最终成果。“我们明确地分享了这一点,目的是让别人看看我们所做的,接受并改进。”

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读