AI实时交互基准RT-Bench发布,GPT-6合格率仅36%

多校联合发布AI实时交互基准RT-Bench,GPT-6合格率仅36%。测试涵盖50项任务,揭示模型在低延迟决策中局限:暂停时钟后成功率可升至70%-80%,凸显时间感知与行动时机短板。

近期,人工智能领域在实时交互能力、太空安全态势以及世界模型构建方面取得了多项进展。以下是相关研究的详细报道。

GPT-6实时任务合格率仅36%

RT-Bench:评估AI在低延迟任务中的表现

由德克萨斯大学奥斯汀分校、俄亥俄州立大学、伊利诺伊大学厄巴纳-香槟分校、NVIDIA、西北大学和 Steadyworks 的研究人员共同构建了名为“实时基板”(Real-Time Benchmarks,简称 RT-Bench)的测试基准。该基准旨在评估现代通用人工智能系统在需要实时决策时的执行能力,涵盖 50 个互动游戏和网络任务。其中网络任务分为旅行、电子商务、服务和安全四个类别,共 30 项;游戏任务包括街机、拼图、战略和模拟,共 20 项。

RT-Bench 主要探测三个核心品质:

  • 时间状态意识 (RT-Perceive):模型利用观测数据跟踪世界变化的能力。
  • 适应性审议 (RT-Deliberate):模型根据可用时间调整推理长度和深度的能力。
  • 行动时机 (RT-Act):模型在适当的时间点执行动作的能力。

例如,一个购票代理需要跟踪销售状态并验证可用性(RT-Perceive),在购买窗口关闭前限制进一步思考(RT-Deliberate),并在等待销售开放时选择购买时机(RT-Act)。测试引入了“暂停时钟”以获取基线能力,以及“代币时钟”,后者以固定速度推进环境,动作在提交时的模拟时间应用,消耗更多代币会延迟执行,无论实际推断延迟如何。

研究人员测试了来自 OpenAI(GPT-6-Astra, GPT-5.6 Sol, GPT-Realtime-2, OpenAI Decision)、Anthropic(Claude Fable 5.1, Claude Opus 5)、Google(Gemini 3.8 Flash, Gemini 3.1 Flash Live, Gemini 3.8 Live)、Jev 1.13 以及中国厂商 Deepseek(V4.1)和 Moonshot AI(Kimi-K3)的模型。在“墙壁时钟”评估设置中,GPT-6 Astra (High) 取得了最高的 36% 合格率。相比之下,若暂停时钟,高推理模型的成功率可接近 70% 甚至 80%。这一结果揭示了当前 AI 代理在处理实时交互任务时的局限性。

DIA报告:太空冲突与反卫星技术现状

美国国防情报局(DIA)发布的《太空安全挑战》报告指出,太空已成为美国与中国、俄罗斯、伊朗和朝鲜之间冲突的定义场域。各国正在开发从动能破坏到复杂干扰及网络行动的一系列进攻能力。

报告显示,中国的太空发射量增加了三倍多。预计到 2020 年代后期,中国可能部署天基定向能系统及更高功率的地基定向能系统,威胁较高轨道上的卫星。此外,中国正在开发基于太空的技术,包括轨道反太空武器,并拥有类似美国 X-37B 的太空飞机。2023年,中国的一辆此类车辆释放并与一个物体进行了互动。

在卫星对抗方面,DIA 提到 2019 年俄罗斯发射了 Cosmos 2542 卫星,随后释放了 Cosmos 2543。Cosmos 2543 多次接近美国国家安全卫星至潜在危险距离。俄罗斯还在开发 Burevestnik 共轨空射反卫星武器,用于在低地球轨道(LEO)摧毁航天器。2022 年 2 月,俄罗斯发射了一颗声称用于测试太空辐射对电子系统影响的卫星,但其进入了不寻常且孤立的轨道。

报告还提及俄罗斯可能在太空中进行核试验。太空核爆炸产生的电磁脉冲将立即影响范围内卫星,并可能波及民用基础设施,涉及 LEO 的商业和侦察卫星、GEO 的关键通信卫星以及 MEO 的导航和计时卫星。随着基于太空的数据中心乃至未来月球数据中心的发展,太空的战略和商业价值日益凸显,竞争也随之加剧。

Metis:融合符号与神经推理的新架构

初创公司 Metis 发表研究论文,阐述其旨在构建更可靠推理核心的新型人工智能架构。Metis 的目标是在现代开放领域问题上实现类似 DeepMind 在 AlphaGo 和 AlphaGo Zero 上的成功,即补充现代 AI 架构中隐含或缺失的推理机制。

Metis 认为缺失的元素包括明确而持久的认识状态,以及允许系统选择推理步骤以推进目标的标准。其核心方法是培养基于现实世界数据收集的推理政策和价值函数,引导系统进行推理以减少长期不确定性。这些数据建立在关于世界的声明或假设组成的基础数据核心上。任何证据地位的变化必须通过证据许可或明确计算验证,并经独立判断系统批准。模型生成的内容需通过证书评估才能进入被接受的认识状态,从而减少幻觉并提供明确的来源链,使推理过程变得可审计。

尽管这种架构提高了可靠性,但也因其非人性化特征引发讨论。人类推理并非基于原始事实基础,而是记忆、直觉和规则的混合体。当代大语言模型(LLM)在此方面更接近人类,而 Metis 试图结合古典系统的透明性与 LLM 的语义运算能力,被视为解决两者各自不完整性的尝试。

Genie 4:Google DeepMind 推出新一代世界模型

Google DeepMind 发布了 Genie 4,这是一个能够模拟真实世界物理场景和人类行动的交互式世界模型。Genie 4 支持使用自然语言实时修改模拟环境,如改变天气、移动摄像头或引入新物体,并能根据周围场景自动调整提示。

该模型最引人注目的突破在于其对人类的模拟,创造出具有自然运动和对环境有机反应的角色。作为首个实时世界模型,Genie 4 引入了即时适应的交互式对话功能。为了维持模拟的连贯性,Google 将 Gemini 3.8 Flash 嵌入 Genie 4 中,作为循环中的指导代理提供持续校准。Gemini 观察现场,将目标分解为步骤,审查传入信息以跟踪进展并验证每一步的成功,从而解锁具备可靠因果关系、程序行为和多步推理的世界。

虽然目前该技术仍存在机器人声音生硬、可视化环境不一致等瑕疵,但它指向了一个可通过创建和提示定制世界来产生无限娱乐形式及潜在数据的方向。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读