真正实用的人工智能助手不仅要能回答正确的问题，更要能纠正用户基于错误前提提出的请求。针对这一痛点，由卡内基梅隆大学、NVIDIA 和约翰霍普金斯大学研究人员共同开发的基准测试 XYBench 近日获得了 EMNLP 2026 最佳资源论文奖。该测试旨在评估大语言模型（LLM）在故障排查中的关键能力：识别用户隐含的误解，并引导其走向解决实际目标的方案。
这种用户提出的方法与其真实目标之间的错位被称为“XY 问题”：用户想要实现目标 X，却误以为方法 Y 是解决方案，因此仅询问关于 Y 的帮助。例如，用户可能执着于制作冰糖棒，而忽略了蛋糕过热才是需要解决的根本问题。
XYBench 基于涵盖编程以及烹饪、家居维修等日常活动的 8,115 个真实问题构建。研究团队对 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro 等主流模型进行了评估。结果显示，这些模型虽然能为用户的问题提供解决方案，但往往局限于用户原本错误的提问方式，极少像人类参考答案那样主动引导用户偏离错误路径，转而提供适合其真实目标的替代方案。
XYBench 的构建逻辑
XYBench 的数据集由四个来源组成：来自 Stack Overflow 的 1,557 个问题、Stack Exchange 的 184 个问题、102 个人工精选示例，以及基于 WikiHow 指南生成的 6,272 个问题。对于每个案例，研究人员确定了表面请求（Y，即用户明确提出的要求）和深层意图（X，即可从上下文推断出的根本目标）。
在处理公共论坛数据时，团队利用得分最高的人类答案及被接受的答案来界定预期请求和潜在解决方案，并剔除了那些足以直接满足字面要求的简单案例。对于 WikiHow 数据，则使用 Sonnet 4.5生成涉及程序指南中常见误解的问题，并通过优化确保包含足够上下文，使专家能在不依赖明确说明的情况下推断出底层目标。同时，排除了回答字面请求即可在很大程度上解决问题的例子。
评估标准与语用学应用
以吸尘器吸力不足为例，一个普通的回答可能简要建议检查软管是否堵塞；而一个更具帮助性的回答会承认用户希望恢复吸力的核心诉求，并专注于诊断原因。这涉及语用学原理，即上下文和沟通意图如何塑造意义。为了量化模型在这一层面的表现，XYBench 从三个维度评估回答：
- 实用解决方案记录：检查模型响应是否包含对所述请求 (Y) 和预期请求 (X) 的解决方案，并分别统计。
- 实用性强调：衡量模型的回答重点是完全集中在声明请求 (Y)、完全集中在预期请求 (X)，还是平衡两者。
- 误解识别：测量模型响应是否在引导用户走向底层目标 (X) 的同时，阻止或避免用户采用错误的方法 (Y)。
在评估过程中，Claude Sonnet 4.5 充当自动化法官，对每个模型答案中的具体建议进行分类并评估其实用性侧重。为验证评判结果的可靠性，两位人类评审员独立评估了模型对 XYBench 问题的 500 份回答。数据显示，评审员与评判模型在判断是否出现解答方面的一致性高达 97.5–100%，在识别错误概念方面为 84.6–93.3%，在务实侧重点方面为 74.2–79.8%。
实验结果分析
研究团队在单轮对话设置下，对上述五个模型及人类参考答案进行了全面评估。结果表明，在所有四个数据来源中，所有模型提供所陈述请求（Y）解决方案的概率均高于底层目标（X）。具体而言，在 Stack Overflow 数据集上，针对所陈述请求的解决方案出现在 75–86% 的回答中，而针对底层目标的解决方案比例仅为 59–71%。
仅仅提及解决方案并不等同于将其作为回答的重点。例如，模型可能在大部分篇幅中建议购买更强大的吸尘器，仅在末尾简要提及清除软管堵塞。尽管这被视为包含了解决底层目标的方法，但模型依然强调了用户的原始错误需求。进一步测量显示，在 Stack Overflow 问题上，只有 35% 到 41% 的回复主要关注底层目标，而 47% 到 57% 的回复侧重于声明的请求，其余回复则对两者给予相似重视。
研究人员还测试了明确用户目标是否有助于提升模型表现。在一项预言实验中，每个问题旁都提供了所述的请求 (Y) 和预期的请求 (X)。结果显示，Sonnet 4.6 包含底层目标解决方案的比例从 59% 上升至 67%，但其误解识别率反而从 47% 下降至 34%。在该实验中，所有模型在误解识别方面的表现均落后于人类。这表明，检测意图只是挑战的一部分，当意图与所述要求不一致时，模型还需要采取相应行动。
另一项单独的实验测试了模型识别有用建议的能力。研究人员向包括 GPT-4.1 在内的六个模型提供了每个问题的两种可能答案：一种集中在字面请求上，另一种集中在目标上。在 Stack Overflow 数据集中，所有六个模型在 71% 到 84% 的案例中选择了以目标为中心的答案。相比之下，在主要评估中，只有 35~41% 的自由形式回答主要集中在底层目标上。这一差距揭示了“识别有用建议”与“生成有用建议”之间的脱节，单独的选择题测试无法反映这一现象。
对模型评估的启示
XYBench 为研究人员提供了一个工具，用于测试提示工程或训练方法的改进是否能帮助模型更好地识别误解、提供针对性解决方案，并将这些方案作为回答的核心。通过单独测量每一种行为，研究者可以观察某一方面的进步是否带动其他方面的改善。
未来的工作将聚焦于探索哪些训练方法能帮助模型根据推断的意图采取行动，即提供用户真正需要的内容，而非仅仅回应他们口头提出的要求。目前，XYBench 主要涵盖英语查询和程序性问题，将其扩展到其他语言、文化背景和对话环境仍是待解决的开放方向。该基准测试的目标是推动建立即使面对基于错误假设的初始提问，也能提供有效建议的人工智能模型。
