案例：被忽略的截止日期
以安娜出售公寓为例。她于 2024 年 8 月搬离住所，希望了解在 2026 年 10 月或 2027 年 1 月完成交易哪个更具税务优势。
某 AI 智能体分析了这两个选项，并正确指出无论选择哪个日期，均满足居住要求，从而享受最高 25 万美元的资本利得免税额度。
然而，该智能体忽略了一个关键的时间约束。根据常规规则，房屋所有者必须在出售前的五年中至少居住两年才能获得豁免。由于安娜在 2024 年 8 月搬出，她将在 2027 年 8 月底停止满足这一要求。若销售延迟至 2027 年 8 月之后，她将失去资格。
在五次尝试中，名为“阿斯特拉”的智能体从未确定最后期限；而在所有五次尝试中，“克劳德”系列模型均发现了这一问题。尽管经纪人对建议日期的评估是正确的，但其建议未能告知客户可能影响重大财务决定的最后期限。专业的税务顾问应当识别此类后果问题，即使客户并未主动询问。
DAYJOB: Tax 基准测试介绍
DAYJOB 旨在评估人工智能代理人在需要专业税务知识、处理复杂材料以及在初始指令未完全说明的情况下做出决策的专业任务中的表现。此前新闻报道已涵盖医疗保健和金融领域，此次将工作扩展至税务准备、合规和咨询服务。
该基准包含 8 个税务实践领域的 50 个环境。代理人接收客户请求和支持记录，随后制作纳税申报表、工作文件、技术评论或客户建议。
这些任务不仅测试税务知识、计算、检索和遵循指令的能力，更侧重于专业判断力。代理人必须决定值得调查的内容，解决相互矛盾的证据，并在信息不足时识别关键缺失点。
结果：排名与帕累托边界
在通过率@1（即在满足至少 95% 的任务标准时通过，标准涵盖计算、支持证据、后续问题和交付成果）的统计中，Claude Sonnet 5.5 以 10.8% 的合格率领先，其次是 Claude Fable 5.1（9.6%）和 Claude Opus 5.5（9.2%）。
绩效与成本对比
研究还比较了模型性能与每项试验的平均成本。Claude Sonnet 5.5 和 Opus 5.5 占据了测量到的帕累托边界的高性能端。
专业税务工作的范围
每个领域都需要特定的规则、记录和专业知识：
- 个人和家庭税
- 小企业税
- 伙伴关系
- 房地产和投资
- 遗产、礼物和信托基金的使用情况
- 国际税收
- 公司交易
- 税务审查和争议
部分任务需要完整的文件包和支持性工作文件，其他任务则要求代理商调查交易、审查以前的文件或为客户尚未做出的决定准备建议。
任务数据构成
该基准测试包含 1,789 个工作区文件，每项任务的中位数为 30 个，最多可达 123 个。其中包括 1,487 份 PDF、117 个 Excel 工作簿、38 份 Word 文档，以及电子邮件、图片、CSV 文件、JSON 记录和文本文件。
工作空间包括已提交和草案状态的纳税申报、K-1、W-2、IRS 通知、总账、工资记录、合同和信函。此外，还包含了税务专业人士经常使用的非标准化证据。
例如，一项任务涉及手写收据照片，显示购买用于再销售的商品。代理人必须阅读项目描述和金额，与支出记录协调，并确定购买如何影响库存和销售商品的成本。
另一项任务涉及一家工业服务公司，客户认为其仅在阿拉巴马州运营。但实地调度日志显示工作人员在五个州工作。工作地点、工作人员数量和现场工作日提供了有关公司多州税务义务的证据。
其他环境同样多样化，例如涉及跨境家庭的波兰就业和财产记录，需与加密货币交易所出口、钱包历史和历史购买批量进行协调。
由税务专家创建和审查
DAYJOB 任务源自现实世界的专业工作流程。税务专家将这些情况转化为实际任务，制定支持记录、预期结果和评级标准。每个任务都经过三层专家审查，以确定其正确性、完整性和可解决性。
参与创建的税务专家在企业税收、合伙企业、个人申报、信托和多州合规方面拥有丰富经验，背景包括：
- 公司和私人股权税收：普华永道、德勤和埃克森的税务律师，拥有超过 10 年的税务规划、合规、审计和争议经验。
- 合伙企业和企业税收：贝克蒂利税务主管，曾在普华永道、莫斯亚当斯和温德斯任职，专门从事复杂的合伙企业分配、合并企业回报、REIT 和高净值客户服务。
- 房地产和个人税收：曾在德勤和 EY 工作的税务专家，专门从事房地产合伙企业、个人税收和信托。
基于未经证实假设的风险
在一项关于退休计划的测试中，一对离婚夫妇询问 AI 经纪人如何划分他们的 Roth IRA 和 401(k)。建议是将账户分开并支付现金以平衡余额。
其中一个回应写道：“我不相信你会这么做”，理由是两人没有合法结婚，因此不能在不引起税收和罚款的情况下分割账户。
然而，这对夫妇自己的记录引发了对该结论的怀疑。虽然他们现在居住在佛罗里达州（通常不承认新的共同法律婚姻），但他们以前住在德克萨斯州，并在科罗拉多州举行了一场仪式。德克萨斯州在某些条件下承认非正式婚姻，在其他地方建立的有效婚姻可能在佛罗里达州仍然有效。这种区分可能会改变分割退休账户的税收后果。
在所有五次尝试中，Opus 根据其建议假设这对夫妇没有结婚。艾斯特拉在五次尝试中的四次承认需要确认他们的婚姻状况。一位回应者建议：“我们首先需要确认你的合法婚姻状况。”
客户仅询问如何划分账户，但经纪人需要在采取行动前确定他们是否已婚。引发调查所需的证据已存在于档案中。
DAYJOB: Tax 的定位
大多数现有的税收基准从一个明确的问题开始：回答一个法律问题、计算一份纳税申报表或收集纳税人信息。这些评估衡量重要能力，但税务专业人员的大部分工作涉及弄清楚问题实际上是什么。客户提供不完整的指示，记录包含相互矛盾的证据，后续问题可能永远不会出现在原始请求中。
DAYJOB 包括识别客户忽视的问题、评估相互矛盾的证据，并决定首先需要做什么。
与其他基准的比较
TaxBench：评估模型能否回答困难的税务问题。TaxBench 评估了 114 个跨多个专业的税务问题，每个问题都有一个定义的问题和分级标题。DAYJOB 进一步询问客户是否提出了正确的问题。例如，安娜想比较两天出售她的公寓，但经纪人是否会提醒她当资格可能到期？
TaxCalcBench：评估模型能否计算出准确的回报。通过使用现实的税务文件和纳税人场景，TaxCalcBench 将纳税申报的准确性与预期的申报价值进行评估。DAYJOB 还询问底层记录是否确实支持税收待遇。例如，如果工作室的账本引用了一个附加的收据，但收据缺失，经纪人是否标记了缺失的证据，还是错误地将退款视为经过验证？
TaxLab：测试代理人能否收集缺失信息并正确归档。TaxLab 测试代理人是否可以质疑模拟纳税人，获取缺失信息并完成联邦个人纳税申报单。
核心区别：DAYJOB 将责任扩展到更广泛的税务职业。交付物可能是合伙企业亏损分析、遗产申报、争议税务立场的审查或策略信函。中央区别在于代理人承担多少责任。DAYJOB 评估代理人是否能发现后果性问题、行使专业判断，并将调查结果贯穿到完成的归档、审查或建议中。
结论
DAYJOB 测试 AI 代理人能否从头到尾负责一项专业任务。这意味着处理混乱的记录、识别客户从未提出的问题、在信息不完整的情况下做出合理判断，并交付符合专业标准的工作。
结果表明，这对于前沿模型来说仍然非常困难。即使代理人可以执行单个步骤，行使专业判断并可靠地执行现实世界的税务工作流程仍然遥不可及。目前，代理人尚未通过审计。
