Revolut 自托管 GLM 模型，AI 编码成本降低九成
英国金融科技公司 Revolut 近日披露，在不到一年的时间内，其人工智能编码推断成本降低了约 90%。这一成果主要得益于该公司从依赖第三方 API 转向自主托管开源大语言模型。
部署成效：交付周期缩短 70%
在上月于纽约举行的 AI Engineer 大会上，Revolut 运维与基础设施负责人 David Abitbol 介绍了相关进展。数据显示，在向约 2,000 名工程师部署 AI 编码工具后，整体编码时间缩短了 60%，软件交付周期（lead time）缩短了 70%。
Abitbol 透露，Revolut 的 AI 探索历程始于 2025 年初部署 Gemini，随后于 2026 年初引入 Claude Code。然而，高昂的成本促使公司重新评估策略。“我们对 AI 的成本持高度怀疑态度，”Abitbol 表示，“我们看到部分工程师每月花费高达 1,000 美元甚至 10,000 美元，但投资回报率并不理想。”因此，公司在初期推出了严格的预算限制，导致工程师仅能访问有限数量的代币。
技术选型：GLM-5.3 与 Nvidia B200 GPU
为解决成本瓶颈，Revolut 开始调查自主托管模型方案。最终，该公司选择了智谱 AI 的 GLM 系列模型，最初采用 GLM-5.1，随后升级至 GLM-5.3。目前，Revolut 使用 56 块 Nvidia B200 GPU 为内部服务提供支持。
在成本方面，自主托管 GLM 5.1 的费用约为每百万输入/输出代币 0.30 美元，这大约是使用 OpenAI Codex 或 Anthropic Claude Code 成本的十分之一。Abitbol 指出：“当代币变得便宜时，我们就不再担心工程师使用了多少代币，或者他们如何使用这些代币。”
性能优化：NVFP4 量化与上下文管理
GLM 5.1 并非轻量级模型，其总参数规模约为 7540 亿，每个生成的代币激活 40 亿参数。该模型仅保持权重就需要约 380GB 的 GPU 内存，每位用户还需额外占用 6-26GB 内存以维持上下文，具体取决于精度设置。
为了在规模化场景下高效运行 GLM-5.3，Revolut 部署了相当于七个八卡 DGX B200 系统的硬件资源。Abitbol 强调，最大的性能提升并非单纯来自增加 GPU 数量，而是源于对模型超参数的调整、切换到 NVFP4 量化技术、实现分类预填充和解码，以及优化上下文长度。
针对长文本处理，Abitbol 认为支持一百万代币的上下文窗口并不一定意味着高效或实用。“长文本是一个骗局，”他说道，“即使你可以提供一百万个代币，实际工作中真正需要的往往是 256k（千）左右的窗口。”
用户体验：低延迟与并行工作流
通过上述优化，Revolut 实现了在 256,000 个背景窗口下，首个代币生成时间（Time to First Token, TTFT）低于 3 秒，生成速度约为每秒 200 个代币。Abitbol 称这是该公司软件工程师体验的“甜点区”。
“目标是 TTFT 小于 3 秒，这是经验证据，”Abitbol 描述道，“一旦达到这个标准，Slack 收件箱就开始爆炸式增长。”他指出，对于交互式编程而言，吞吐量并非唯一指标，每秒 200 个代币的速度已足以让用户满意。此外，随着工程师工作方式转变为并行执行任务并在完成后检查，而非逐字阅读思考过程，夜间时段登录的工程师甚至能达到每秒近 800 个代币的处理速度。
混合架构：模型路由与隐私考量
值得注意的是，GLM 并未完全取代 GPT 或 Claude。由于 GLM 在 UI 相关工作上表现并非最优，Revolut 采用了模型路由器机制，将视觉查询指向 Gemini 或 GPT Luna 等模型，同时保留 GLM 用于代码生成。
Abitbol 表示，开源是 Revolut 的优先事项，且经济状况良好，“我们在月底没有任何账单冲击，边境是例外”。关于数据安全，他承认中国开放权重模型可能引发隐私担忧，但强调主要风险在于通过来自中国的 API 访问。当模型在本地或区域云资源上运行时，这种担忧实际上可以忽略不计。
