IBM提出一致性诊断法,缩小AI智能体可靠性缺口
IBM研究院发现AI智能体在重复任务中存在显著的一致性缺口。通过构建Consistency Analyzer诊断工具并生成针对性指导方针,团队将GPT-4.1驱动的智能体在AppWorld基准上的Pass^5成功率从53%提升至69%,有效缩小了平均准确率与完全可靠率之间的差距。
共 2 篇相关文章
IBM研究院发现AI智能体在重复任务中存在显著的一致性缺口。通过构建Consistency Analyzer诊断工具并生成针对性指导方针,团队将GPT-4.1驱动的智能体在AppWorld基准上的Pass^5成功率从53%提升至69%,有效缩小了平均准确率与完全可靠率之间的差距。
桑迪亚国家实验室提出新指标QUOPS,用于量化量子计算机性能。测试显示Google、IBM等顶尖设备得分均低于2000,而FeMoco等实用算法需求高出10万倍。容错模式下的Quantinuum Helios-1仅得40分,凸显当前技术瓶颈。