AI视觉推理与开源模型基准测试综述

人工智能 2026-10-12 12:30 2 阅读来源： Import AI

Elorian与Scale AI发布HSS基准，揭示AI视觉推理短板。GPT-6 Astra得分53.1，远低于人类93.1；部分开源模型表现不佳。TasteVal显示AI研究品味提升，RSI预期或提前至2027年。

基准测试揭示当前 AI 在直观视觉推理上的短板

人工智能初创公司 Elorian 与 Scale AI 联合发布了名为“人类第六感”（Human Sixth Sense, HSS）的基准测试，旨在评估模型通过视觉场景中隐含但未明确显示的信息进行解释和推理的能力。该基准包含 522 个问题，涵盖 288 张图像和 234 张短视频片段（总时长 17.6 小时）。任务类型主要分为四类：时间与因果动态、物理与空间逻辑、社会理解以及抽象与上下文推断。

测试结果显示，人类基线得分较高，总分为 93.1 分（图像类 94.1 分，视频类 91.9 分，时间类 97 分，空间类 94.9 分）。相比之下，表现最佳的人工智能系统 GPT-6 Astra 仅获得 53.1 分（图像类 55.6 分，视频类 51.1 分，时间类 58.2 分，空间类 53.6 分）。值得注意的是，部分中国开源权重模型在此项测试中表现不佳，GLM-5.3-flash 得分为 26.8 分，Kimi K3 得分为 25.5 分。主要错误集中在遗漏决定答案的细节（占失败案例的 21%）以及错误识别对象或角色（占 20%）。

HSS 基准的意义在于揭示了当前大型语言模型（LLM）在执行复杂视觉推理任务时的局限性，尽管这些任务常被认为需要专门的空间感知世界模型才能解决，但前沿 LLM 在此类任务上仍表现出显著差距。

TasteVal 基准显示 AI 研究品味提升，RSI 预期提前

P-Zero Research 推出的新基准 TasteVal 用于衡量人工智能系统在前沿开发任务中的“研究品味”，即选择有趣问题、设计实验及解释结果的能力。该基准涵盖了预训练数据策划、模型微调、偏好建模等 8 项任务，并与来自 OpenAI、Google DeepMind、NVIDIA 和 Microsoft Research 等机构的 24 名专家进行了对比。

数据显示，自 2025 年 12 月以来，前沿模型的实验研究品味每 3.0 个月翻一番（95% CI 为 1.7-5.0 个月）。最佳模型 Opus 5.5 的计算乘数达到人类基线的 2.30 倍，其平均尝试成本仅为专家基线人员的约 1/30。

这一进展对递归自我改进（RSI）具有启示意义。随着 AI 系统在创造性直觉上的提升，其自我改进的速度可能加快。相关分析指出，鉴于 AI 在数学突破等方面的进步，完全 RSI 的出现时间可能从原先预期的 2028 年提前至 2027 年。

Reflection 发布 Beam 模型，主打 Token 效率但性能落后于中国竞品

美国 AI 初创公司 Reflection 发布了拥有 5010 亿参数（激活参数 230 亿）的 MoE 架构大语言模型 Beam。该模型承诺通过精细的强化学习（RL）训练实现高 Token 效率，声称在高级推理基准测试中，仅使用 GLM-5.2 三分之一的算力即可取得相当分数。为此，团队收集了 100 万个高质量编码、智能体和 STEM 环境进行训练。

然而，基准评分显示 Beam 的整体能力仍落后由中国企业定义的开源前沿水平：

GPQA Diamond：Beam 得分 90.5，低于 GLM-5.3 的 91.7；
MCP Atlas：Beam 得分 78.7，低于 GLM-5.3 的 84.2；
其他指标如代码生成等方面，GLM-5.3 亦保持领先。

尽管存在差距，Beam 代表了美国重返开源权重模型前沿的努力，特别是在 Meta 停止高质量 LLaMA 模型开发后，此类项目显得尤为重要。

Mistral Large 4 聚焦网络安全，欧洲主权 AI 面临竞争压力

欧洲 AI 开发商 Mistral 宣布将于月底发布开源权重模型 Mistral Large 4 (ML4)。该模型在 Mistral 欧洲数据中心使用 3,800 块 NVIDIA Grace Blackwell GPU 进行训练，主要卖点包括优化的网络任务处理能力以及较少的拒绝响应机制，旨在赋予组织在自身政策下执行高级安全工作的自主权。

尽管 ML4 预计将成为最强大的西方开源权重模型，但其性能仍不及中国模型：

DeepSWE 1.1：ML4 得分 62，低于 Kimi K3 的 68，略高于 GLM-5.3 的 61；
Terminal Bench 4.0：ML4 得分 28.3，远低于 GLM-5.3 的 41.9；
Finance Agent V2：ML4 得分 54.7，略低于 GLM-5.3 的 55.8。

内部用户偏好测试显示，ML4 在 CAD 和 STEM 领域更受欢迎，而在金融和编码方面与 GLM-5.3 表现相当。这反映出欧洲在追求 AI 主权的同时，在与亚洲开源模型的竞争中仍面临严峻挑战。

美国政府启动跨机构 AI 训练项目，整合国家实验室算力资源

美国政府近期开展两项涉及多个国家级实验室的大型 AI 训练项目，旨在利用现有超级计算机资源推进国家安全相关的 AI 应用。

在国家核安全管理局（NNSA）系统中，桑迪亚国家实验室、劳伦斯利弗莫尔国家实验室（LLNL）和洛斯阿拉莫斯国家实验室（LANL）合作，通过 LLNL 的 El Capitan 超级计算机（基于 AMD MI300A）以及 SNL 和 LANL 的 NVIDIA H100 集群，使用 torchtitan 后端对 LLaMA 3.x 模型（1B、8B 和 70B 规模）进行预训练。该项目评估了 NVFlare、Flower 和 APPFL 等联邦学习框架，并计划部署用于训练分布在各实验室的专有数据模型。

此外，能源部先进科学计算办公室（ASCR）也在四台超级计算机上进行了跨机构微调。研究人员利用 Intel、NVIDIA 和 AMD 提供的约 1,700 个 GPU，分布在阿贡（Aurora 和 Polaris）、橡树岭（Frontier）和伯克利（Perlmutter）等实验室，对 LLaMA-2 7B 模型使用 SMolInstruct 数据集进行化学指令微调。

虽然目前的项目规模相比工业界顶级训练尚小（需连接约 10 万芯片才能接近同等规模），但这标志着政府正尝试通过汇集现有资产，将 AI 技术应用于敏感目的。