核心发现:切换模型时,也应考虑更换代理框架(Harness)
本站联合 Baseten 构建了目前规模最大的代理框架排行榜。该基准测试基于 830 亿个代币,涵盖 27,280 次代理运行。研究旨在回答两个关键问题:当用户更换底层大模型时,是否需要同步更换代理框架?以及针对每个特定模型,哪个代理框架表现最佳?

此前的 v1.0 FrontierHarness 排名仅针对 Kimi K3 模型的单一框架进行了评估。本次发布的 V1.1 版本将基准测试规模扩大了 76 倍,覆盖 22 种代理框架配置、5 个大模型、62 项任务,每项任务重复运行 4 次。
实验数据表明,为了最大化用户体验,在切换模型的同时调整代理框架是必要的策略。不同模型的最佳搭配差异显著:GLM-5.3 适配 Codex CLI,GLM Flash 适配 ZCode,DeepSeek V4.1 适配 Oh My Pi,Muse 适配 Alma,而 Kimi-K3 则与特定框架组合表现最优。值得注意的是,各组合之间的成本差异巨大。
以每项任务的成本为衡量标准,中位排名在 22 个位置中发生了 11 位的变动。例如,Codex CLI 在 GLM-5.3 上排名第 1,但在 Kimi-K3 上跌至第 16 位。
测试结果概览
图 1:每项任务的平均成本与各框架通过率关系
图中每个点代表一个代理框架配置。左侧表示较低的每项任务平均成本。实线连接的是帕累托前沿上的框架,即没有其他框架能在成本和通过率上同时优于它们。
在所有测试模型中,四个框架位于效率前沿线上:OpenCode v2(最低每项任务成本 0.561 美元)、Pi、Codex CLI 和 ZCode(最高通过率 61.9%)。其他框架的成本高达前者的 1.6 倍,但通过率仅在 50.6% 至 60.2% 之间波动。
每张结果卡片列出了对应模型的最佳性价比框架。判定标准为:每次通过的费用最低;或者虽然费用较高,但高出幅度不超过 30%,且通过率至少提升 5 个百分点。依据此规则,DeepSeek 选择了 ZCode 而非 OpenCode v1(后者成本低 25%,但通过率低 7.7 分);Kimi-K3 选择了 Alma 而非 Oh My Pi(后者成本低 9%,但通过率低 6.5 分)。
为何构建 FrontierHarness Eval v1.1
在 v1.0 版本中,团队使用九个框架测试了单一模型。结果显示,尽管各框架的通过率相差不超过 17 个百分点,但每次通过的中位数成本差异却高达 17 倍。这表明成本主要受框架与模型匹配度的影响:在一个模型上表现廉价的框架,换到另一个模型上可能会变得昂贵。
因此,V1.1 版本对每个框架都使用了五种不同的模型进行测试,以全面评估交互效应。
测试范围与方法
代理框架与模型
共测试了 18 个基础框架,由于部分框架包含不同工具集的配置变体(如 DeepSeek Harness 的不同配置文件,以及 OpenCode 的两个版本),最终形成 22 种独立计算配置。
所有模型均由 Baseten 提供服务,包括:GLM-5.3 (zai-org/GLM-5.3)、GLM Flash (zai-org/GLM-5.3-Flash)、DeepSeek V4.1 (deepseek-ai/DeepSeek-V4.1-Flash-1017)、Muse (元模型/muse-spark-open) 和 Kimi-K3 (moonshotai/Kimi-K3)。
任务设置
测试包含 62 项终端任务,时间限制从 15 分钟到 8 小时不等。
评分体系与执行环境
配置与运行隔离
评估采用 Harbor 系统,使用各框架的默认设置,以模拟日常真实使用场景。所有框架在所有模型上均使用相同的版本、设置及最大推理努力值。
图 2:Harbor 与 Runta 在每次试验中的分工
每次试验均在独立的 Runta 运行时环境中进行,结束后立即删除。任何试验都无法访问先前试验的文件或状态,确保测试结果的独立性。
成本指标定义
表格单元格代表“框架-模型”配对。主要参考两个成本指标:
- 每项任务平均成本:单个任务多次试验的平均成本,再对所有任务取平均。用于图 1、4 和 5 的成本排序。
- 每次通过成本:每项任务平均成本除以通过率。用于确定最佳性价比框架(图 3、6 和 7)。
选择“每次通过成本”作为最佳价值指标,是因为它反映了每单位货币获得的通过率。在坐标系中,从原点到某框架点的连线斜率即为“每美元通过率”,其倒数即为“每次通过成本”。最低成本对应最陡峭的斜率。
日志审查发现 216 起涉及奖励黑客(Reward Hacking)的试验,其中 163 起通过网络搜索获取答案。这些试验得分记为 0。
按模型分析的结果
图 3:各模型下不同框架的成本与通过率分布
颜色越深的单元格代表成本越低。Codex CLI 在 GLM-5.3 上实现最低的每次通过成本(0.803 美元),但在 Muse 上排名第 12,在 Kimi-K3 上排名第 10。整体来看,Antigravity CLI 的每次通过成本最高(1.63 美元),而某些框架可低至 0.937 美元。
结果可靠性验证
通过对 62 项任务进行 4,000 次重采样,验证最佳性价比组合的稳定性。结果显示,在 99.6% 的重采样中,“Codex CLI + GLM-5.3”始终保持第一。其余优胜组合的出现概率分别为:Oh My Pi + Muse(53%)、ZCode + DeepSeek(47%)、Pi + GLM Flash(42%)以及 Alma + Kimi-K3(25%)。
框架对成本的影响机制
模型本身决定了成本的大致水平,因为不同模型的目录价格差异可达 20 倍以上。通过对 110 个单元格的每项任务平均成本进行双向方差分析,成本差异来源分解如下:
- 模型因素:解释 92.8% 的方差。
- 框架主效应:解释 2.3% 的方差(即在所有模型上一致的框架效果)。
- 交互效应与噪声:剩余 4.9%。
这意味着,在固定模型的情况下,框架间 68% 的变化(7.2 分中的 4.9 分)取决于具体的“模型-框架”配对或噪声。
同一模型下,框架导致成本波动 1.8 至 5.0 倍
图 4:每个模型中最低与最高成本框架对比
每一行展示一项任务的平均成本模型。比率由最高成本除以最低成本得出。随机混合测试显示,偶然性导致的比率中位数仅为 1.2 至 1.8 倍。然而,实际观测到的 5 个比率均显著高于随机预期(p=0.003),证实波动源于框架特性而非重播噪声。最大差异出现在 DeepSeek 上:Cline CLI 的成本是 OpenCode v1 的 5.0 倍,尽管两者通过率仅差 2.0 分。在其他模型中,最便宜框架与最昂贵框架的通过率差距通常小于 0.4 分。
“最便宜框架”随模型变化剧烈
图 5:每个模型中各框架的成本排名(1 = 最低成本)
Codex CLI 在 GLM-5.3 上排名第 1,但在 Kimi-K3 上跌至第 16。DeepSeek Harness: Creator 的排名波动最大,从配合 Muse 时的第 1 位降至配合 GLM Flash 时的第 21 位。OpenCode v1 在 DeepSeek 上排名第 1,而在 Muse 上排名第 13。
这种排名跳跃并非复制错误所致。将试验分为两半并分别排名,同模型下的平均等级相关性为 0.71,而跨模型的相关性仅为 0.26,进一步证实了模型与框架之间存在强烈的交互效应。
高成本并不必然带来高通过率
图 6:每个模型的最低与最高每次通过成本
此处展示每次通过的成本。每个比率后跟随的是每项任务成本与通过率的等级相关性,数值范围从 -0.39 到 +0.22。正值意味着更昂贵的框架通过率更高。
数据显示,通过率最高的 22 个框架中,有 5 至 20 个在每项任务成本上排名靠后。在五个测试模型中的四个里,最昂贵的框架反而比最便宜的框架通过率更低。
简单的框架一定更便宜吗?
不一定。比较每次通过的成本发现,提示词大小、工具数量和缓存命中率并非主要成本驱动因素,步骤数(Steps)才是关键。
- 启动代币:首次代理循环请求的输入代币(含系统提示、工具定义和任务描述)。
- 工具:首次请求提供的工具列表。
- 缓存成功率与步骤数:试验平均值。一步定义为代理轨迹中的一个入口。
图 7:四个因素与每次通过成本的关系
在 22 个框架中,每次通过的步骤数与每次通过成本的等级相关性为 +0.51 (p = 0.015)。而其他三个因素的相关性介于 -0.03 至 +0.02 之间 (p ≥ 0.88),统计上不显著。在每个模型内部,工具调用跟踪成本也与步骤数相关。
由于每一步都会重新发送上下文,单次试验平均消耗 200 万至 480 万个输入代币。最大的首次请求为 21,365 个代币,仅占总量的不到 1%。mini-SWE-agent 拥有最小的首次请求(882 个代币),但因每次通过需要 38 个步骤,其每次通过成本在 22 个框架中排名第 17。
成本构成分析
图 8:各框架的推理成本细分(按代币类型或试验结果)
所有成本均为基于目录价格的推理估算。模型卡片上的通过率以轮廓线标示。
在所有试验中,缓存输入占成本的 42%,输出占 33%,非缓存输入占 25%。
代币与缓存机制
缓存显著降低了重复输入的成本。缓存输入的单价仅为非缓存输入的 2%(DeepSeek)至 20%(GLM Flash)。
图 9:各模型的目录价格(百万代币美元计)
Cline CLI 配合 DeepSeek 展示了缓存的效果:其 86% 的输入来自缓存,而 OpenCode v1 达到 97%。此外,Cline CLI 发送的总输入量是 OpenCode v1 的两倍,但其非缓存输入仅占成本的 57%。
未通过试验占据大部分成本
64.5% 的目录价格成本花在了未通过的试验上:其中 52.7% 用于失败案例,11.8% 用于超时案例。
最佳性价比框架的共同设计特征
分析表现最好的五个框架的轨迹,发现了三个共同的设计选择(观察结论,非严格测试):
1. 单一 Shell 工具承担主要工作。
在各框架中,Shell 工具处理了 61% 至 93% 的工具调用。例如,Pi 的默认提示词仅包含四个工具,并将文件搜索指令导向 bash:
selectedTools: [...(input.selectedTools ?? ["read", "bash", "edit", "write"])],
addRule("Use bash for file operations like ls, rg, find");
2. 增量式上下文构建。 上下文起始部分保持不变,使得提供商能从缓存读取:在通过的试验中,91.1% 至 94.0% 的输入来自缓存。虽然 22 个框架中有 18 个实现了 91% 以上的缓存读取,但这并未成为区分前五名的关键因素。关键在于,每一步仅新增约 500 个代币,却需支付全量输入的价格:
# Pi, GLM-5.3, merge-diff-arc-agi-task (trial cd2f6dfd)
request prompt tokens cached tokens
8 15,954 15,616
9 16,351 15,936
10 16,999 16,320
3. 极少使用子代理和摘要。 这五个框架中,最多仅有 6 次试验使用了子代理,样本太少无法判断其有效性。只有 Codex CLI 进行了摘要操作(8 次试验),且在窗口使用率达到 90% 时触发:
.map(|context_window| (context_window * 9) / 10);
共同弱点:失败时仍给出自信答案。 约四分之三的失败试验以最终答案结束,而非超时。比例从 Pi 的 68% 到 Codex CLI 的 82% 不等。很少有用例承认工作未完成:
# Codex CLI, GLM-5.3, cancel-async-tasks (trial 37182b0e)
Agent: - Validated with system Python, including concurrency and
cancellation-cleanup tests.
Verifier: FAILED test_tasks_cancel_above_max_concurrent
assert stdout.count("Cleaned up.") == 2
AssertionError: assert 0 == 2
未通过的试验占据了各框架 60%(Codex CLI)至 69%(Alma)的成本。若在停止前增加检查机制可能节省部分成本,但本研究未对此进行测试。
局限性与未来计划
- 仅限开源模型与单一提供商。闭源模型可能产生不同结果。本研究的缓存效率和价格基于 Baseten,其他提供商可能会改变成本排名。
下一步计划包括:
- 引入闭源模型。将测试 Claude Opus 5.5、GPT-6 Astra 和 Gemini 4 Carbon 等模型。
- 长周期任务研究。探讨在云端持续运行的框架如何在长时间工作中自我改进。
结论与建议
- 换模型时请同步评估框架。建议在私有数据集上使用候选框架测试新模型,数据量需足够大以排除噪声干扰。
- 模型决定成本基线,框架决定边际效益。模型解释了 92.8% 的任务成本方差。在固定模型下,最贵框架的每次通过成本是最便宜框架的 1.9 至 4.9 倍(每项任务成本比为 1.8 至 5.0 倍)。选择框架时务必比较成本。
- 高价不等于高分。对于每个模型,每项任务成本与通过率的等级相关性在 -0.39 到 +0.22 之间,无显著正相关。
- 框架体积不预测成本。最小的框架 mini-SWE-agent 在所有模型上的每项任务成本排名第 19(共 22 名)。
- 大部分成本





