决策模型使用量激增,定制化成竞争新焦点

决策模型使用量激增,微软等巨头纷纷入局。Vercel数据显示超四分之一请求分流至此,TypeSafe估值达75亿美元。随着技术门槛降低,定制化与数据校准成为竞争焦点,开发者更看重实际部署效果而非单一基准测试。

决策模型使用量激增,定制化成为竞争新焦点

今年10月,在 Vercel 的 AI 模型路由器上,超过四分之一的请求被分流至决策模型(Decision Models),而非传统的大语言模型(LLM)。

超四分之一请求分流至决策模型

决策模型是一种不生成输出代币的特殊 LLM。它们利用通用智能在预设选项之间进行快速且低成本的判断。在生产环境中,这种能力尤为关键,因为对于许多任务而言,毫秒级的响应速度和低廉的成本比前沿模型提供的深度推理更为重要。

巨头入局与初创突围

TypeSafe 凭借发布 Jev 系列模型确立了市场主导地位,其估值已达75亿美元。根据 OpenRouter 等聚合服务的指标显示,TypeSafe 在该领域仍占据显著份额。然而,随着技术门槛降低,Jev 之后已有数十款类似的轻量级决策模型面世。例如,一名 Amazon 工程师仅用一个周末便开发出了自己的版本,各大超大规模云服务商也纷纷推出自有方案。

本周二,Microsoft 首席执行官 Satya Nadella 宣布,该公司正式推出其决策模型 Microsoft-Decision-1.1。

与此同时,生态系统两端均出现活跃动向。英国 AI 初创公司 Sqwish 今日宣布完成300万美元的预种子轮融资。该公司推出的决策模型名为“kettei fat”。Sqwish 的联合创始人 Ushnish Sengupta 和 Federica Freddi 相识于剑桥大学,当时两人正在从事小型 LLM 的开发工作。

数据校准与定制化优势

数据质量被视为该领域成功的关键因素。TypeSafe 首席执行官 Diogo Almedia 向 TechCrunch 透露,打造 Jev 模型最具挑战性的部分在于利用经过统计调整的合成数据来精细校准模型的判断能力。

Sqwish 同样依赖合成数据,但其差异化优势在于内置的后训练工具。该工具允许客户上传自身生产数据,从而提升模型在具体业务场景下的判断精度。“我们的目标是不沦为商品化服务,而是赋予客户同等的能力……让他们能够持续上传并优化自己的生产数据。”Sengupta 表示。

基准测试之外的实战考量

对决策模型进行横向排序极具挑战性。尽管 Sqwish 的“kettei fat”模型在某些基准测试中表现优异,但大多数开发者认为实际部署效果才是检验标准。由于模型替换成本较低,开发人员倾向于通过持续调整来验证模型是否值得保留。

Microsoft 的 Decision-1.1 也是在成本、延迟、智能水平和校准度之间寻求平衡的结果。该项目工程副总裁阿辛特·斯里瓦斯塔瓦 (Achint Srivastava) 指出,过度关注基准测试是一个误区。

“我们的内部测试强调了一个事实:在单一模型中同时实现准确性、可靠性、速度和成本效益极具挑战性。”斯里瓦斯塔瓦在一封电子邮件中表示,“Microsoft-Decision-1.1 和 Jev 是少数在所有这四个维度上都表现强劲的产品,即使在‘隐藏’或反映真实用例的未见基准上进行评估时也是如此。”

系统一与系统二的协同未来

对于 Sqwish 这样的初创公司而言,面对超大规模云服务商和前沿实验室的竞争既是挑战也是机遇。Freddi 预测,未来的 AI 系统将呈现“系统一”智能(如决策模型)与“系统二”智能(如前沿 LLM)协同工作的格局。

即便在这一未来图景下,决策模型市场本身规模可观。“即使 System One 的市场规模达到100亿甚至500亿美元,而对于 OpenAI 这样正在筹备 IPO 的公司来说,这可能只是一个副项目。”Freddi 说道,“但这正是我们关注的核心所在。”

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读