Hugging Face 推出 SimReady Central 开放库

Hugging Face 推出 SimReady Central 开放库。该库汇集超 2000 个符合模拟标准的 OpenUSD 资产,涵盖机器人及工厂设备,为物理 AI 训练和数字孪生提供免手动配置物理属性的免费起点。

构建机器人模拟环境及高保真 AI 工厂数字孪生,仅依靠基础 3D 模型远远不够。开发者往往需要手动补充碰撞几何体、质量参数、摩擦系数等物理属性,这一过程耗时且易出错。为简化这一流程,Hugging Face 推出了 SimReady Central 开放库。

超两千个 OpenUSD 资产入库

该图书馆汇集了超过 2,000 个符合模拟标准(SimReady)的 OpenUSD 资产,旨在为物理 AI 训练环境和 AI 工厂数字孪生提供免费的起点。资产涵盖机器人手臂、抓手、仓库设备、货架及冷却基础设施等多种类型。开发者可查阅每个资产支持的功能特性,并将来自不同供应商的资产整合至同一场景中。

原始设备制造商(OEM)现可根据 SimReady 规范准备并验证其资产,通过 SimReady Central 与开发者社区对接,从而加速最终客户的测试与决策进程。行业参与者可在管理自有 Hugging Face 数据集的同时,围绕其产品构建模拟生态。

什么是“SimReady”资产?

SimReady 资产是指具备模拟工作流所需特定属性的 OpenUSD 文件。虽然详细的 CAD 模型是良好的起点,但模拟还需要关于对象如何被解释和使用的额外信息。

在机器人操纵任务中,这些信息包括物体质量、碰撞几何体和摩擦特性;在 AI 工厂工作流中,则涉及设备几何形状以及所需的电气或热元数据。OpenUSD 作为一个开放、可扩展的框架,用于描述和构建 3D 场景,而自主机器的训练与评估还需依赖有关物理行为、碰撞及传感器交互的信息。

SimReady Foundation 提供了规范、配置文件和验证工具,以明确这些要求。配置文件定义了资产在特定用例中所需的特征和能力逻辑分组。

图 1:SimReady Foundation 为特定模拟用例定义资产表示要求,开发者库则协助准备和验证 OpenUSD 资产以满足这些要求。

资产结构要素 功能作用
碰撞几何和物理特性 支持在兼容运行时中进行接触和物理模拟。
关节结构和限制 定义机器人和设备的运动范围。
语义标签 用于对象识别及合成数据注释。
材料和传感器属性 支持渲染及传感器模拟。

开发者应从 SimReady Central 中选择符合其工作流需求的资产,并将其组合成 OpenUSD 场景。具体模拟用例的要求请参阅 SimReady Foundation 的相关文档。

OEM 为何向 SimReady Central 贡献资产?

原始设备制造商可将 CAD 设备模型转化为 SimReady 资产,使开发者能够围绕其产品构建模拟。这有助于制造商触达从事机器人模拟和 AI 工厂数字孪生开发的团队。

对于 Vertiv 等 AI 工厂 OEM,该库提供了分发仓库设备架、服务器架、冷却设备及基础设施资产的途径。开发者和前沿代理可将这些资产整合进 AI 工厂数字孪生中,复用其 SimReady 配置文件指定的几何和属性。

对于 Comau、FANUC、Franka Robotics、Robotiq、Standard Bots 和 Universal Robots 等机器人 OEM,该图书馆使机械臂和抓手能被用于构建训练和评估环境的团队发现。开发者可将这些资产与工业设备结合,构建仓库和工厂场景。

Palatial 等模拟资产提供商在该库中发布了与 NVIDIA Robotics 合作的 NVIDIA Robotics 1K 数据集,以及从文本、图像、扫描、数据表和 CAD 生成的复杂关节资产,供开发者构建机器人训练和评估场景。

LG 电子 (LGE) 等 OEM 可利用其在设备和机器人领域的经验,构建家庭模拟环境,用于机器人培训、评估和合成数据生成。

ForgeCAD 等 AI 辅助 CAD 提供商则提供具有高质量纹理的类人机器人道具,帮助开发者构建机器人感知和操纵训练环境及合成数据生成场景。

OEM 可通过 SimReady Central 提交技能对相关 SimReady 配置文件验证资产,进行打包并提交入库。

图 2:OEM 根据 SimReady 配置文件准备和验证 OpenUSD 资产并提交至 SimReady Central。开发人员和 AI 代理在库中发现并使用这些资产构建模拟环境。

利用 SimReady 资产构建模拟环境

SimReady Central 为机器人和工业开发人员提供了可复用的机器人工作单元、工业环境和 AI 工厂数字孪生的起点。开发者和 AI 代理可在此找到符合工作流配置文件的资产,并组合成 OpenUSD 环境。

开发者可使用 SimReady 资产填充训练环境中的对象和障碍物,通过改变位置来评估机器人行为。这些环境可支持如 Microduck(源自 Hugging Face 和 Pollen Robotics 的开源机器人项目)等项目。

图 3:资产数据集通过 Hugging Face 的 SimReady Central 连接,利用 USD 搜索服务支持 Isaac 工作流程、SimReady 中央库搜索及 AI 代理工作流程。

SimReady Central 的自然语言搜索功能帮助开发者和 AI 代理在参与数据集中查找资产。Hugging Face 还将 USD 搜索集成到平台搜索中,索引了 USD 属性和模拟元数据,协助代理发现适合物理 AI 模拟任务的 SimReady 资产。

AI 辅助创作进一步拓展了资产使用方式。开发者可将 OpenAI GPT-6 Astra 等前沿模型与资产搜索及场景创作工具结合,利用 SimReady Central 库构建环境。Astra 可根据任务要求和空间限制,寻找合适资产、编写代码组装场景并创建变体。

OEM 也可使用 Astra 协助准备和完善 OpenUSD 资产,使其符合 SimReady Foundation 要求,随后验证并提交至图书馆。

构建机器人抓取与放置场景

例如,开发者构建机器人抓取与放置场景时可发出如下提示:

在 Hugging Face 上使用 SimReady Central 的 SimReady 资产,在 Isaac Sim 中使用 PhysX 创建一个基本的仓库抓取与放置场景。使用 nvidia-simready-central.hf.space 找到一个 FANUC 机器人手臂、一个兼容的 Robotiq 抓手和合适的仓库资产。生成 Python 代码以组装场景并配置抓取与放置任务。提供一个 mov 预览以便审查结果。包含脚本、资产版本和运行时版本,以便重现场景。

在此工作流程中,Astra 执行以下操作:

  • 查询 SimReady 搜索 API 以查找 Hugging Face 上分布的相关资产
  • 将它们导入 OpenUSD 阶段
  • 生成 Python 代码组装工作单元
  • 配置抓取与放置任务
  • 显示预览供用户查看

图 4:由 SimReady 资产组装的机器人抓取与放置工作单元,展示了 AI 辅助场景创作如何将开发者需求转化为 Isaac Sim 中可审查和改进的模拟场景。

比较 AI 工厂布局

同样方法可用于 ISV(独立软件供应商)构建 AI 工厂数字孪生。任务重点从机器人交互转向设备放置:在特定空间限制内安排机架、冷却设备和支持基础设施。

使用 Hugging Face 的 SimReady Central 的 SimReady 资产,创建两个包含机架和冷却设备的 AI 工厂布局。使用提供的设备尺寸和通道净空要求。检查设备重叠和许可违规情况,并报告任何问题。将每个布局保存为 OpenUSD 场景。包含场景构建脚本、资产版本和运行时版本,以便复制和比较结果。

在此工作流程中,Astra 选择 SimReady 资产组装成两个 OpenUSD 布局,并生成脚本以检查设备重叠和通道清理是否符合要求。开发者可在模拟应用中检查布局,比较设备放置和访问路径,并在改进首选配置前审查标记的问题。

图 5:由 SimReady 资产组装的 AI 工厂布局,展示了 AI 辅助场景创作如何支持 OpenUSD 中的设备放置、通道清理检查和布局优化。

开发者可通过以下方式扩展环境:

  • 重复使用环境:将布局和任务特定的更改保留在单独的 OpenUSD 层中,使相同源资产支持多个实验。
  • 改变场景:从图书馆引入额外资产,改变对象位置、设备配置或周围基础设施,以评估不同条件。
  • 构建特定应用测试:对于机器人,在 Isaac Lab 中配置训练和评估任务;对于 AI 工厂,将现场连接到设备数据和模拟工具进行分析,如电力分配或冷却性能。
  • 将验证后的布局带入运营:对于 AI 工厂,将现场连接到实时 BMS 和 IT 遥测,以保持数字孪生与设施同步。

社区反馈与未来规划

SimReady Central 的路线图包括吸引更多 OEM 合作伙伴并扩大资产库,增加开发者可从可重用内容中组装的设备与环境种类。

社区反馈将帮助确定哪些新增内容最为重要。开发者可在评论区指出所需资产、使用的运行时以及遇到的集成缺口。

OEM 贡献可丰富可用内容,而开发者示例则展示资产在不同应用中的工作方式。欢迎分享构建案例,或在 SimReady Foundation 中开启 Issue 以报告错误或提出功能请求。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读