由密歇根大学研究人员创立的初创公司维拉平台（Vera Platform），正致力于解决人工智能代理在 DevOps 领域执行任务时的安全性与准确性问题。
DevOps 涉及软件的部署与运营，其容错率极低。尽管 AI 代理在生成代码及通过提示词交互时具备一定的纠错空间，但在对承载生产负载的真实基础设施进行修改时，风险被急剧放大。
“现场基础设施是无情的。”维拉平台首席执行官、密歇根大学副教授 Ang Chen 向 The Register 表示。错误的更改可能导致服务中断、安全漏洞暴露或数据丢失，且这些错误往往不可逆转。由于无法在生产环境中进行“试错”式实验，AI 代理面临严峻挑战。
过去几年间，Chen 及其团队一直在探索如何对代理式 DevOps 进行基准测试，并开发了一个名为“健身房”（Gym）的模拟环境，旨在帮助 AI 模型更好地完成相关任务。
研究揭示了当前领先模型的显著弱点。Chen 指出，例如 Anthropic 的 Claude 虽然在 Python 代码生成方面表现强劲，但在 DevOps 操作中存在根本性局限。
当要求 Claude 或 OpenAI 的 Codex 在 AWS 云中关闭资源时，模型未能超越默认区域（US-East-1）。由于未意识到云资源可能分布在多个区域，模型仅取消了部分资源，导致操作不完整。Chen 解释称，这一问题的根源在于模型训练数据中公开代码占比极高，而实际操作追踪数据相对匮乏。
为弥补这一缺陷，维拉平台推出了三款核心产品：
- vera-gym：一个模拟生产基础设施的游乐场环境；
- vera-bench：用于测量 AI 代理在 DevOps 任务中错误率的测试基准；
- vera-agent：已在 vera-gym 中接受训练，准备直接应用于 DevOps 任务的智能代理。
其中发布的 CloudOpsBench 测试基于 2024 年在 NeurIPS 会议上发表的研究成果。根据 Chen 的数据，Claude 和 Codex 在该测试中的合格率仅为 50%，显示该任务难度极高。
CloudOpsBench 包含删除退役 S3 桶、修复合规事件管道以及恢复 DynamoDB 写自动扩展等具体任务。Chen 强调：“这些任务由拥有多年经验的高级基础设施运营商编写，并经过严格的同行审查。”
该基准测试的一大优势在于无需实际部署云资源。“我们有一个模拟器模仿 Amazon 的行为，”Chen 说道，“在模拟器中，代理的表现与实际环境完全一致。对于每一个 API，我们都有相应的对比机制，确保代理看到的信息与真实场景相同。”
目前，维拉平台计划于 2027 年第一季度推出 Vera-agent。
在其学术研究中，研究人员将云基础设施管理描述为“关键但乏味的工作”。随着更多训练数据的积累，AI 代理有望接管这部分工作，使运维过程变得更加标准化和低摩擦。
