TL;DR
NVIDIA Cosmos 世界模型开发平台近日发布了 Cosmos 3 系列中的四个新开放权重检查点，旨在支持交互式世界模拟及多传感器驾驶场景生成。所有模型均基于拥有 16B 可训练参数的 Cosmos 3 Nano 进行后训练，采用 OpenMDW1.1 许可证，允许商业与非商业用途。
- Cosmos3-Nano-Transfer-Auto：根据天气、光照和昼夜变化生成多视图驾驶数据。
- Cosmos3-Nano-Sim-Auto：为驾驶模拟提供流同步的摄像头和激光雷达观测。
- Cosmos3-Nano-Sim-Transfer：将模拟器控制指令和文本提示转换为真实视频。
- Cosmos3-Nano-Sim-Bimanual：预测机器人或摄像机动作产生的视频结果。
应用场景与价值
这些检查点为构建能够应对不断变化的场景和视角的机器人系统提供了互补能力。Sim-Bimanual 负责预测行动的视觉后果，而 Sim-Transfer 则将物理模拟器的控制转化为生成的观察结果。
在自动驾驶领域，外观与几何的一致性至关重要。通过同步摄像头和激光雷达数据，该方案将视觉观测与 3D 传感连接起来。研究人员可利用场景和交通信号控制功能改变道路布局及信号状态，进而研究驾驶策略的反应。
流式生成功能将视频预测与持续交互相结合，使世界模型研究人员能够探索行动与观察如何共同展开。NVIDIA 表示，开放权重和训练配方旨在为模型调整、方法比较及改进贡献提供共同起点。尽管未来工作仍聚焦于评估模型对策略学习和评估的支持程度及其局限性，但这一基础有助于创造更丰富、响应更快的模拟世界。
使用 Cosmos3-Nano 构建自动驾驶汽车世界
️️ Transfer-Auto：从驾驶场景到多传感器数据
这是一个用于离线合成驾驶数据生成的双向模型。它支持联合 RGB-LiDAR 生成，可在多达 11 个摄像头视图（包括鱼眼镜头）中产生同步视频。每个摄像头的世界场景地图 (WSM) 控制器指定场景结构和交通运动，文本提示则指导外观风格。
开发人员可通过改变环境条件来扩大培训和评估覆盖范围，并可选择初始 RGB 图像以固定场景外观。联合激光雷达生成还利用对齐的高清地图范围进行控制。Transfer-Auto 也是适应自定义传感器设备和驾驶领域的基础：首先通过后训练适配相机布局和 LiDAR 配置，调整后的模型可直接用于离线数据生成，或通过因果训练及蒸馏步骤实现快速流式模拟，从而衍生出 Cosmos3-Nano-Sim-Auto。
Sim-Auto：从驾驶控制到流式观测
作为 Transfer-Auto 的因果蒸馏变体，Sim-Auto 支持快速流式和长时间交互式部署。它利用生成的历史记录和更新的驾驶控制，仅需几步即可生成连续的小型同步摄像头视频和 LiDAR 数据。
用户需提供每个摄像头的字幕和同步 WSM 控制，可选添加初始 RGB 图像。对于激光雷达生成，需包含与摄像机控制对齐的高清地图范围控制。该模型使用滚动历史生成连续块，闭环交互需要模拟运行时间和 WSM 渲染器根据驱动输入更新控制。针对新的传感器设备或领域，建议先调整 Transfer-Auto，再将其蒸馏为 Sim-Auto。
Sim-Transfer：从模拟器控制到 RGB
该模型利用模拟器的空间控制和文本提示渲染政策可消耗的颜色观察结果，其核心流程为：动作 → 模拟器更新 → 空间控制 → 生成 RGB → 下一个策略动作。
- 深度：相对相机的距离信息。
- 分区：区域和对象边界。
- 边缘：场景轮廓边缘。
- 模糊：粗粒度的外观和布局。
文本指导外观，而物理属性和地面真值状态保留在模拟器端。
Sim-Bimanual：从行动到视频
Cosmos3-Nano-Sim-Bimanual 模拟机器人行为，支持 YAM 和 AgiBot 实施方案的交互式双臂模拟，可由策略或人工操作的操纵杆控制。
模型从一个图像开始，通过移动机器人或摄像机生成下一个观测结果。控制序列可在视角变化和操纵之间切换。混合示例使用了 59 个控制值，训练过程中填充至 64 个。其方案定义了坐标框架、旋转、抓手校准、有效性掩码和控制域，每个值均描述预期的运动。
时间一致性要求 T 转换需要 T+1 观测。原始捕获物经过归一化处理转化为模型的动作表现。在此模式下，Sim-Transfer 从物理模拟器的更新状态生成视觉效果，直接根据现场和机器人的行为生成下一个观察结果。
运行要求：Linux 系统、NVIDIA GPU、Docker 及 NVIDIA 容器工具包。已公布的 vLLM-Omni 设置在 GB200 上测试过，但这并非最小内存规范。服务器负责下载权重，客户端获取样本输入。
流式生成机制
Cosmos 3 采用混合 Transformer 骨干网络，通过注意力机制连接独立的文字处理和视觉生成网络。生成器根据提示符、可用控制和生成历史记录预测每个短段。流程简化如下：控制 + 历史记录 → 生成块 → 解码图像 → 更新历史记录。
去噪过程将压缩的视频表示精制成片段。时间因果关注机制使其能读取可用的历史和控制，同时屏蔽未来的目标观测。键/值缓存保留了注意力信息用于后续预测。
模型运行在隐藏的压缩视频表示上。初始图像后，每个隐藏的时间步骤代表四个 RGB 帧。Transfer 模式预测每块一个步骤；报告中的优化双手设置预测两个步骤。较小的块允许新控制更频繁地影响生成。
四阶段训练流程
- 阶段 0 - 双向适应：从完整录制片段中学习领域及其控制与视频的关系。
- 阶段 1 - 教师强制：根据先前记录的观察和可用控制预测每个块，掩盖清晰答案和未来目标。
- 阶段 2 - 一致性蒸馏：使用冷教师训练学生在四个解算步骤中生成每个块。
- 阶段 3 - 自我强制：训练学生处理生成的历史。结合冻结教师和辅助评分模型提供分布匹配信号。
最后阶段至关重要，因为微小的错误会在后期成为背景噪声并复合放大。自我强制使训练暴露于生成的历史面前，蒸馏和缓存技术降低了生成每个观测的成本。
数据适配指南
后训练配方从 Cosmos3-Nano 或兼容的基础权重开始，涵盖上述四个阶段。保留完整的训练检查点以便恢复；导出的推理权重不包含优化器和其他训练状态。
- Transfer-Auto：在您的驾驶数据上进行后训练，以适应传感器装置和领域，并生成离线合成数据。
- Sim-Auto：对适配后的 Transfer-Auto 模型应用因果训练和蒸馏，以实现快速流式模拟。
- Sim-Transfer：使用本地数据准备、阶段配置和恢复功能，针对您的环境对检查点进行后训练。
- Sim-Bimanual：针对您的具体实体进行后训练，包括数据验证、阶段配置、检查点交接和导出。
开发者可为编码代理提供技能和数据集位置，遵循环境检查，验证样本，并在长期运行前测试训练和重启。需在保留的剧集上评估质量：成功的短期运行仅验证执行能力，而非收敛性。
