AI 部署误区:并非所有场景都需要“法拉利”级配置
正如拥有法拉利的人极少驾驶它去学校接送孩子一样,在人工智能领域,最强大的工具并不总是完成日常任务的最佳选择。自 AI 技术兴起以来,许多企业陷入了追求极致性能的误区,倾向于使用最顶尖的模型、最受欢迎的加速硬件,并试图以最短路径从试点阶段过渡到生产实施。

然而,随着 AI 应用从概念验证(PoC)转向大规模生产,隐性成本开始显现。少数人使用的测试项目看似廉价,但当同一应用程序每天运行成千上万次时,资源消耗将呈指数级增长。真正的错误不在于拥有高性能模型,而在于对所有工作负载采取“一刀切”的策略——即默认使用相同的模型、依赖相同的硬件或采用单一的部署路径。
企业 AI 发展的下一阶段,其核心价值在于效率优化:将每个具体的工作负载与最合适的模型和加速器相匹配,而非盲目追求最大的“引擎”。
不同模型承担不同角色
部分企业误将 AI 视为一种排名竞赛,认为应在最智能的模型上实现标准化。这种观点忽视了不同 AI 任务和工作量之间的复杂差异。
例如,客户服务辅助工具需要极快的响应速度,以确保用户感知不到背后机器的存在;而大量的文档总结任务则允许更长的处理时间,因为用户期望 AI 进行更深入的“思考”。对于政府机构而言,主权和数据所有权往往优先于单纯的性能指标,这意味着工作负载的运行位置和方式与计算能力同等重要。
这一逻辑同样适用于基础设施层面。小型模型通常能以更低成本、更高速度处理常规的分类、提取和路由任务;中型模型则支持大规模的日常工作推理。最大、最强的模型虽具重要性,但应选择性使用,仅在涉及复杂推理、深度战略规划或高风险任务且准确性和细微差别至关重要时,其高昂的成本才具备合理性。
为了最大化 Token 效率,企业需深入理解不同工作负载的行为特征,认识到它们无需相同的加速器类型。通过组合不同的模型和硬件,企业可以根据速度、吞吐量、成本或控制权等优先级灵活匹配需求。团队应从预期结果出发,而非基于假设偏好强行适配工作负载。例如,运营客服助手的零售商优先考虑响应时间、用户体验和规模成本,而处理敏感信息的政府部门则更重视主权、安全性及数据驻留地。基础设施应具备足够的灵活性,以适应不断变化的需求,避免被锁定在单一路线上。
构建多样化的硬件生态
若组织在特定加速器上投入巨资,往往会尝试将所有工作负载迁移至该平台。这种企业级的错误假设会导致成本迅速攀升。用同一套硬件执行所有任务,可能意味着为未实际利用的性能支付高额费用,而用户获益甚微。
低延迟应用需要针对响应性优化的硬件,而高容量工作负载则从吞吐量和成本效益中获益更多。在同一基础设施上运行这两类任务,可能导致其中一方为从未使用的性能买单。
基于多种异构加速器构建基础设施,使企业能够做出更明智的决策。在某些场景下,结合来自不同供应商的互补硬件甚至更为可取。虽然 NVIDIA GPU 在许多企业场景中是合理选择,但多元化选项至关重要。通过引入 AMD、高通(Qualcomm)、微软(Microsoft)、Cerebras 等供应商的产品,企业可将基础设施与特定需求精准匹配以提升效率。例如,Cerebras 在运行 OpenAI 的 gpt-oss-120b 模型时,速度可达每秒约 3,000 tokens,这种高速度对于对响应时间极其敏感的应用尤为宝贵。
部署环境的选择在企业或政府层面尤为关键。在欧洲,市场强烈要求基础设施在当地开发并符合本地法规运营。对于跨市场运营的企业而言,基础设施选择必须与数据驻留和本地控制问题紧密结合。目前的趋势指向支持主权的设施、国内加速器、基于消费的定价模式以及无预置资本承诺的方案,而非一次性做出的硬件决定。当需求变化时,传统僵化的架构往往难以快速响应。
重新审视 AI Token 与效率
AI 支出与传统企业软件行为存在显著差异。传统软件许可证成本相对可预测,而 AI 账单会随着代理执行步骤增多或强大模型被用于不必要任务而大幅膨胀。这使得“使用本身”成为衡量代理价值的关键因素。
企业已开始重新评估员工对 Token 的使用策略,特别是在编程领域。据报道,Uber 曾在四个月内耗尽了原本规划给 2026 年的 AI 预算。这一案例表明,向更多人提供更多 Token 并不必然带来更大价值。
代理人工智能提供了另一个典型例子。不同于偶尔提出独立问题的员工,AI 代理可以通过一系列步骤自主工作,包括阅读文件、生成代码、测试及检查输出错误。特别是在编码方面,代理式 AI 相比简单的推理和聊天可能极其昂贵,Token 消耗波动巨大,且增加消费并不总能提升准确性。
由于仅关注计算 Token 无法反映全貌,企业应以结果而非单纯的绩效或能力来衡量成功。使用更快的模型、更强的硬件或运行更长时间的代理可能有用,但前提是产出能证明其消耗的价值。对于客服人员,这可能体现为解决单个案件的成本;对于员工助手,则是效率的提升。
目标不应是完全减少 Token 使用,而是让 IT 领导者清晰了解付费原因及其商业合理性。这就是 AI 效率的定义。首席信息官及其团队不应盲目追求最大用量或最低成本,而应确保每个工作负载产生的价值足以覆盖其运行投资。
让“法拉利”回归赛道
AI 工作并非总是需要最大、最强的模型,最快的加速器或最昂贵的部署选项。关键在于停止将这些作为默认选择。扩大 AI 生产规模的下一阶段,需要对每一个工作负载采取更深思熟虑的方法。
正确的流程应从任务定义开始,选择一个足以胜任任务的模型,在符合其性能需求的加速器上运行,并确保部署环境满足安全和主权要求。最后,评估结果是否值得相应的代价。
这种方法或许不如追逐顶级配置那样引人注目,但正是这种理性区分了具有弹性的生产级企业/政府部署与实验性项目。随着 AI 融入日常工作流程,效率将越来越多地源于在需要的地方做出明智的能力选择,以及拥有多种模型和部署选项以应对多样化需求。





