IBM Research：GPT-4.1免训练登顶客服基准

ALTK-Evolve：无需更新模型权重，GPT-4.1 在客户服务基准测试中登顶

IBM Research 团队展示了 ALTK-Evolve 方法的有效性。该方法利用 GPT-4.1 学习并应用一套“行动指南”，在 τ²-bench 客户服务代理基准测试的零售任务类别中取得了第一名的成绩，且全程未对模型权重进行任何更新。

基于 ReAct 框架与 GPT-4.1 的高性能表现

在 2026 年 10 月 12 日的排行榜上，一个使用较旧的非推理模型 GPT-4.1 构建的基本客户服务代理，在 τ²-bench 零售任务中达到了 67.5% 的通过率（Pass^4）。这意味着该代理在四次独立尝试中均成功解决任务的概率为 67.5%，这一得分高于所有其他零售领域的参赛作品。

该代理运行在标准的 ReAct 支架上，其系统提示词中附加了通过 ALTK-Evolve 学习到的指导方针。ALTK-Evolve 的核心机制在于分析代理在训练任务中的尝试轨迹，并利用同一模型（GPT-4.1）将成功与失败的经验提炼为简短的行为规则，例如如何验证客户身份、确认交易细节或处理退货流程。这些生成的指南随后被直接添加到代理的提示词中，用于指导后续对话。整个过程不需要人类标注，也不需要重新训练模型。

此前，研究团队已在编码代理中验证了这种方法。此次实验将其应用于客户服务领域，重点考察代理遵循领域政策、理解客户请求以及执行正确工具操作的能力。

客户服务场景下的政策约束与模拟环境

τ²-bench 旨在测量代理在真实约束条件下处理客户服务对话的能力。每个任务包含三个要素：由 LLM 模拟的客户（带有特定目标）、一组领域专用工具（如查找订单、发放退款、重新预订航班），以及代理必须严格遵守的书面政策文件。

代理需要推断出正确的细节，坚持政策规定，并采取往往不可逆的正确行动。只有当最终的数据库状态与预期结果完全匹配时，任务才被视为已解决。本研究使用了该基准的两个客户服务领域：零售和航空。

实验采用了 τ²-bench 自带的基础 ReAct 代理实现，使用两阶段 THINK → ACT 循环。其中，GPT-4.1 作为代理模型，GPT-5.5 作为客户模拟器模型，每个任务进行四次试验。除了政策、工具和脚手架保持标准配置外，主要的变量是注入的学习指南。这些指南以简单的标记清单形式添加在领域政策之后：

You are a customer service agent that helps users according to the policy below.
Always follow the policy strictly. Use the provided tools when needed.

<policy>
# Retail agent policy

As a retail agent, you can help users:
- cancel or modify pending orders
- return or exchange delivered orders
- modify their default user address
…
</policy>

## Guidelines learned from past task attempts (follow these carefully):
- Authenticate the user before taking any order-related action. If email is unavailable, verify identity via full name and zip code using the find_user_id_by_name_zip API.
- Always confirm all intended changes (modify, cancel, return, exchange) with a clear, structured summary, and require explicit user approval before executing any database-updating action.
- When processing a return or exchange, communicate the refund with an itemized breakdown and clarify refund timing — don't wait for the user to ask.
- Take one action per step: never combine a tool call with a user-facing message in the same turn, and wait for the tool's result before replying.
- Before looking a user up, parse and clean their name — e.g. split a combined handle like `daiki_johnson_9523` into first/last name — and after a couple of failed lookups, state the exact format you need.
…

研究团队使用 GPT-4.1 从代理轨迹中提取指南，并将这些指南原封不动地应用于保留的测试组。

指南数量对能力与可靠性的影响

不同的模式和任务需要不同数量的指导。为了评估这一因素，研究比较了三种配置：

• 基线（Baseline）：不包含任何额外指南。
• sup3：仅保留支持度（support count）≥ 3 的指南，形成一个小型高可靠性核心。
• 无损（Lossless）：保留整合后所有支持度 ≥ 1 的指南。

下表展示了不同变体中包含的指南数量：

评估指标分为两个维度：

• 平均准确度：四次试验的平均成功率，衡量代理完成任务的能力。
• Pass^4：在所有四次试验中均成功的任务百分比。这一指标衡量可靠性，对于实际部署至关重要，因为用户需要确信代理每次都能正确处理请求，而不仅仅是平均水平。

下图数据展示了在保留测试任务中，各变体的平均准确度和 Pass^4 表现。在零售领域，无损配置使准确度提升 4.4 个百分点，Pass^4 提升 10.0 个百分点；在航空领域，无损配置使准确度提升 7.5 个百分点，而 sup3 配置提供了最佳的 Pass^4 提升（+10.0 个百分点）。

数据显示，引入指南显著提升了两个领域的表现。零售领域的平均准确度从 78.1% 升至 82.5%，航空领域从 57.5% 升至 65.0%。在可靠性方面，严格的 Pass^4 指标在零售领域提升了 10 个百分点（57.5% → 67.5%），在航空领域 sup3 配置同样带来了 10 个百分点的提升（35.0% → 45.0%）。

最佳指南数量因领域而异

两个领域对指南数量的反应存在差异。在零售领域，更多的指南带来更好的效果。而在航空领域，情况更为复杂：虽然无损配置提高了平均准确度（65% vs 60%），但更精简的 sup3 核心（14 条指南）在可靠性上表现更佳，将 Pass^4 提升至 45%，而无损配置仅为 40%。这表明支持度阈值是一个需要根据具体领域调整的超参数，而非固定值。

成本增加源于 Token 消耗而非对话轮次

引入指南并非没有代价，但其成本主要体现在即时输入 Token 的增加，而非导致对话变长。

下表展示了完整基础划分中，每次对话的 LLM 总成本（包括代理和用户模拟器）：

为了验证代理是否通过延长对话来达成目标，研究对比了在基线和指南变体下均被解决的相同场景（相同的 scenario 和种子）。结果显示，代理并没有进行更长的对话。相反，在共享集上，指南使得对话略微缩短。

数据表明，无损配置在两个领域中均减少了约 0.3–0.4 个轮次（零售从 10.59 降至 10.16，航空从 9.15 降至 8.82），没有任何变体导致对话长度增加。这一发现具有重要意义：由于每一轮对话都涉及顺序的 LLM 往返调用，更少的轮次意味着更低的端到端延迟，从而为客户提供更快的完成时间，而不仅仅是降低计算成本。