2026年10月20日，NVIDIA 正式推出 Cosmos3-H-Dreams。这是一款旨在为临床手术提供交互式生成式模拟的世界基础模型（World Foundation Model, WFM）。该模型通过直接学习视频与机器人动力学的视觉特征，而非显式模拟场景几何、组织变形及物理交互，实现了高真实感的体内影像渲染。
据 NVIDIA 介绍，Cosmos3-H-Dreams 是目前已知首个能够实时生成的外科模拟器。该系统基于 CMR 外科 Versius 平台的临床程序视频和机器人运动记录进行训练，由 Cosmos 3 提供底层支持，并借助 NVIDIA 加速流推理库 FlashDreams 优化性能。目前，该模拟器可在单张 NVIDIA RTX PRO 6000 GPU 上实现交互运行。
从桌面任务到复杂临床场景的挑战
相较于早期建立在 Cosmos-Predict2.5 基础上、主要处理简单背景桌面任务的版本，Cosmos3-H-Dreams 聚焦于人体内部复杂的解剖结构。在临床环境中，微小的仪器操作会引发全局性的视觉变化：组织在拉力下伸展、反射改变、视野因遮挡而受限或烟雾影响可见性。
生成式模拟器必须在保留解剖结构和仪器形态的同时，准确捕捉这些动态响应。由于初始图像和工具动作是输入条件，任何随时间累积的小误差都可能导致仪器几何或解剖结构的漂移，因此时间一致性成为关键指标。
NVIDIA 强调，视觉现实主义仅是验证起点，而非生物力学准确性的最终证明。生成的场景必须严格遵循控制指令，包括平移、旋转和抓取命令需产生连贯的解剖学后果。若忽略这些指令，即便画面逼真也无法作为有效的交互式环境使用。为解决这一难题，Cosmos3-H-Dreams 专门针对临床胆囊切除术进行了优化，将动作条件交互引入包含复杂解剖、组织运动和闭塞的场景中。
技术架构与创新点
基于 Cosmos 3 的基础模型与丰富的手术控制
Cosmos3-H-Dreams 构建于 Cosmos3-H-Embodied-Nano 之上，这是一个拥有 160 亿参数、在 Open-H-Embodiment 数据集上预训练的模型。样本选择聚焦于两个可见且参与操作的仪器：左侧的 Cadiere 抓手和右侧的单极电刀，并限制摄像机命令以突出仪器驱动的交互。
该模型利用 28 个动作维度进行训练，涵盖双臂姿态、抓手信息以及能量控制、ES 指针轴和按钮按压状态。训练数据采用 832x480 分辨率的视频，动作频率对齐至 10Hz。需注意，这种采样率与运行时生成吞吐量存在差异。
教师-学生蒸馏策略与推理加速
结合 FlashDreams，Cosmos3-H-Dreams 采用了专为长期自回归推广设计的“教师-学生”训练管道。视野范围扩展至 7.2 秒，对应 72 帧（10Hz），使教师模型有更长时间学习外科动力学。
随后通过蒸馏过程，将双向教师模型转化为因果学生模型，使其能随着新动作的到来进行顺序生成。教师的因果强制机制使学生准备好利用记录的上下文。在教师和经过充分训练的批评家指导下，通过自我强制训练解决交互式展开过程中的错误积累问题。
NVIDIA 发布了两个检查点供开发者选择：
- 四步解码模型：每个生成块使用四个解码步骤，平衡质量与速度。
- 两步解码模型：进一步训练后的版本，仅使用两步时间表。该模型并非简单减少采样步骤，而是独立训练所得。较少的去噪步骤带来更快的推理速度，但视觉质量略有下降。这允许开发者在视觉质量与推理成本之间探索最佳平衡点。
FlashDreams 流媒体管理与缓存优化
FlashDreams 提供了加速流的运行时环境。针对长时间推演中注意力历史的管理需求，Cosmos3-H-Dreams 集成了适应性的 FadeMem 模块，用于在长序列生成过程中巩固不断增长的键/值（Key/Value）缓存。这一机制与自强制蒸馏互补：前者处理模型如何从生成历史中学习，后者处理如何在流式生成期间高效存储历史。
未见轨迹泛化与自定义适配
临床过程中可能出现并发症或外科医生执行非标准动作，因此模拟器必须具备超越训练数据的泛化能力，生成连贯的未见运动场景。演示显示，Cosmos3-H-Dreams 可通过 VR 头显记录的仪器动作，生成不同的胆囊切除场景。即使初始图像相同，不同的动作序列会导致截然不同的场景延续，体现了仪器控制对解剖后果的影响。
此外，系统允许用户适应自己的数据和控制器。除了内置的四步和两步胆囊切除检查点外，开发者可利用提供的逐步配方，在自己的数据集上训练实时学生模型。该配方涵盖了数据准备、公共教师训练工具和蒸馏阶段。控制器集成需使用与训练相同的动作惯例和规范化方法。
未来研究方向
NVIDIA 指出，视觉现实主义的进步开辟了多个研究方向，但目前的 Cosmos3-H-Dreams 仍属于研究模拟器，而非经过验证的患者护理系统：
- 完整程序模拟：扩大覆盖范围和时间一致性，以便系统地探索胆囊切除术的所有阶段，明确任务界限和成功标准。
- 生成与数值模拟连接：将学习的视觉现实主义与明确的几何、接触和组织力学结合，利用数字模型和测量数据限制和验证变形，使模拟行为可检查且令人信服。
- 外科医生评估：评估解剖准确性、仪器行为和组织反应，将专家反馈转化为可复制的基准。
- 更多仪器支持：在现有两种可控工具基础上，实现更丰富的协调、遮挡和互动。
- 独立外科政策制定：在一个闭环中将世界行动模式与 Cosmos3-H-Dreams 结合起来。
资源获取
感兴趣的开发者可通过以下渠道探索 Cosmos3-H-Dreams 背后的模型、数据和运行时组件：
- Cosmos3-H-Dreams 代码和示例：GitHub 存储库
- Hugging Face 检查点
- Cosmos 3-H-Embodied-Nano：Hugging Face 模型和 GitHub 存储库
- 自定义数据适配指南：教师微调和自强制蒸馏的逐步配方
- Open H-Embodiment：Hugging Face 数据集
- FlashDreams：GitHub 存储库
- NVIDIA Cosmos 3：GitHub 存储库
