Ai2发布StateBench:揭示Transformer长文本状态跟踪局限
Ai2推出StateBench基准测试。该研究将状态跟踪划分为四个难度层级,对比Transformer与Gated DeltaNet等架构表现,揭示前者在复杂依赖链处理上的局限,量化不同模型在各复杂度下的具体能力差异。
共 10 篇相关文章
Ai2推出StateBench基准测试。该研究将状态跟踪划分为四个难度层级,对比Transformer与Gated DeltaNet等架构表现,揭示前者在复杂依赖链处理上的局限,量化不同模型在各复杂度下的具体能力差异。
AI2发布LLM科研新颖性评估基准。测试显示,仅微调提示词即可导致GPT-5.1等六个模型判断准确率波动超50个百分点,揭示当前“新颖性法官”在缺乏统一标准下极不稳定,难以可靠区分真正的新方向与旧有工作的重新包装。
乔治亚理工揭示LLM同情心源于对话数据。研究发现模型社会推理更多依赖人际对话而非教科书,该神经框架可量化训练源贡献,助力优化模型行为及监管金融医疗等领域建议。
Ai2与宾大推出LitPivot,辅助文献驱动研究转向。系统提供文献支持的批评及修订建议,17名研究人员评估显示,其产出的想法比通用工具更具基础性和实用性,将于2026年UIST展出。
Ai2发布OlmoEarth v1.3卫星嵌入模型。该版本覆盖全球10米分辨率数据,在27项评估中128维嵌入20次夺冠。训练成本降至前代18%,复现仅需约2720美元,大幅降低应用门槛。
Ai2发布FairStress基准,评估LLM公平性。该测试覆盖29个领域,发现模型存在“反刻板印象过度校正”,在少数群体受保护时更易偏离证据支持的正确决策。
Ai2发布HiRO-ACEv2,以3公里分辨率模拟极端天气。其运行成本仅为传统模型的1/300,能高精度复现罕见降雨及强风事件,统计结果与目标数据匹配度在3%以内。
Ai2引入GPU时间预算制,调试等待降至30秒。新系统取代优先级调度,解决占位与通胀问题。通过层级公平分享动态分配数千块H100等算力,消除免费高优先级选项,提升资源利用率。
Ai2开源科学报告生成模型AstaBrief。该8B模型将研究问题转化为带引用报告,速度较专有模型提升3.5倍,平均耗时51秒。权重与数据全开放,支持本地部署以保障敏感科研数据安全。
Ai2发布Olmo-core 3,将MoE训练扩展至万亿参数。新框架重构训练堆栈,在8台B300 GPU上使47亿参数模型吞吐量提升约2.7倍,有效解决大规模稀疏模型的效率瓶颈。