Ripple-65B 预览版发布：以 3200 万美元成本实现代理编码开放权重 SOTA
循环智能（Ricursive Intelligence）近日发布了 Ripple-65B 预览版。这是一款通用型语言模型，旨在支持其芯片设计平台。该模型在预训练阶段处理了 12 万亿个代币，支持高达 100 万的上下文长度。
在代理编码任务上，Ripple-65B 展现了显著的性能优势。根据 TerminalBench 2.1 基准测试，该模型取得了 80.52 的分数，成为美国开放权重模型中的最先进（SOTA）水平。这一成绩超越了多个参数量远大于它的模型，包括 Reflection Beam 501B (80.1)、Meta Muse Spark Open 816B (76.4)、Thinking Machines Inkling 975B (63.8) 以及 NVIDIA Nemotron 3 Ultra 550B (56.4)。
极低的研发成本与高效的数据策略
与传统前沿大模型高昂的训练成本相比，Ripple-65B 的开发费用极低。据估算，从头开始训练该模型的总研发成本仅为 3200 万美元，涵盖预训练阶梯开发、数据混合、评估、调试、合成数据生成、后训练配方开发及最终运行等环节。这一成本约为之前公开权重 SOTA 模型代理编码训练成本的十分之一。
作为对比，OpenAI CEO Sam Altman 曾透露 GPT-4 的训练成本超过 1 亿美元；Anthropic CEO Dario Amodei 预测，到 2026-2027 年，仅预训练成本可能攀升至 1000 亿美元量级。此外，据报道，像 Reflection 这样的玩家每月需投入 1.5 亿美元用于 SpaceX Colossus 的计算资源，且其 Beam 模型需要各 4 周的时间进行预训练和后训练。
在数据策略上，团队未购买任何后训练数据，而是设计了包含质量过和覆盖度量的自有合成数据管道。通过精心设计的监督微调（SFT）和强化学习（RL）配方，专注于计算效率而非粗暴的 RL 扩展。最终的 RL 配方结合了截断重要性采样、分数集中和线性长度惩罚，随着模型性能提升逐步增加任务难度。从强大的初始 SFT 检查点出发，仅经过约 140 万个版本的迭代，便实现了性能跃升，比之前的 SOTA 模型 Reflection Beam 少用了约 70 倍的版本数。
针对硬件优化的密集架构设计
Ripple-65B 采用现代化的密集 Transformer 架构，而非混合专家（MoE）结构。这一决策旨在简化预训练和后训练基础设施，同时保持稳定的模型利用率（MFU）。即使在简单的分片、无定制内核和无量化的情况下，整个训练过程仍保持了 40% 的稳定 MFU。
该模型具有“薄而深”的参数比例特征：d_model 为 5120，总层数为 80。为了优化推理性能和降低延迟，团队过度配置了注意力头数量，提高了滑动窗口注意力（SWA）与全局层的比率，并缩小了 SWA 窗口大小以抵消成本。此外，还引入了 FFN 激活剪切、封闭注意力、全局 NoPE（无位置编码）和价值残差连接等技术。
这种小参数规模的设计使得 Ripple-65B 能够在 NVIDIA DGX Spark 等本地设备上高效运行。这类设备虽然具有高算力 FLOP，但内存带宽低于数据中心加速器，密集架构在此类硬件上表现更佳。
基于 Olmo 3 的模型阶梯实验
Ripple 的预训练配方基于一系列模型阶梯实验优化而来。起点是艾伦人工智能研究所（AI2）Olmo 3 的模型阶梯，随后进行了多轮小规模干预以提升编码能力：
- v1.0：实现 StepFun 批量大小和学习率缩放规则。
- v1.1：引入新的阶梯策略。
- v1.2：从后规范基线转换为前后规范，在小规模下中性，但从 4B 参数规模开始显示改善。
- v1.3：实现西格玛（Sigma）注意力机制。
- v1.4：尝试 2 流 mHC，虽在小规模表现良好，但在 4B 规模无改善，故被拒绝。
- v1.5：切换至全局 NoPE，并将最终学习率冷却至零。
- v1.6：增加价值残差连接。
最终版本使用了自定义预训练数据集，并大幅增加了代码样本比例。通过 dolma_stack CE 测量，这些复合变化使 4B 模型在代码任务上的计算效率提升了 16 倍。这意味着 Ripple 的最终模型阶梯能以更少的计算资源达到与 Olmo 3 相似的代码性能，且随着规模扩大，效率优势预计将进一步显现。
部署与生态贡献
Ripple-65B 预览版已上线 Hugging Face、Together AI、GMI Cloud 和 OpenRouter。Fireworks AI 也计划稍后提供托管服务。
循环智能表示，构建 Ripple 是为了闭合软件模型与硬件之间的循环，其内部变体将直接驱动公司的人工智能芯片设计平台。该项目建立在开源社区贡献之上，感谢 AI2 Olmo 团队、Prime Intellect、RadixArk 和 NVIDIA 的支持。公司强调，强大的开源生态系统通过自我改进吸引更多贡献者，形成良性循环。
