JEPA世界模型优化：600次实验揭示长程规划新路径

JEPA 世界模型优化：600 次实验揭示长程任务规划新路径

当前人工智能领域关于世界模型的讨论主要集中在生成式方法上，即通过预测未来的像素来理解环境。然而，包括 Yann LeCun 在内的多位科学家认为这是一种低效的努力，因为大多数像素与决策无关，且难以准确预测。

作为替代方案，联合嵌入式预测架构（JEPA）被提出。该架构包含三个核心组件：编码器、预测器和计划器。编码器将观察数据转化为紧凑的学习嵌入向量；预测器基于当前状态和动作序列预测下一个状态的嵌入；计划器则在嵌入空间中搜索数百种动作序列，选择最接近目标嵌入的预测最终状态。这种机制使得模型只需关注场景中影响决策的关键信息。

今年，由 LeCun 参与的一个团队发布了 LeWM，这是一个基于 JEPA 的世界模型。其主要基准测试为 Push-T，即要求机器人将灰色 T 形块推向桌面指定绿色位置。针对该模型进行的 600 次实验表明，无需重新训练权重，仅通过改进规划策略即可显著提升性能。

预测精度已非瓶颈，规划策略成为关键

实验首先评估了预测模块对 LeWM 性能的影响。研究人员将 LeWM 的神经预测器替换为模拟器的完美物理引擎，并在长视野任务（目标距离 75 步）中进行对比。结果显示，原版 LeWM 的成功率为 78%，而使用真实物理的版本成功率为 77%。这表明经过训练的 LeWM 预测能力已接近完美物理模拟，进一步提升模型本身的预测精度并非当务之急。

因此，提升 JEPA 世界模型性能的重点转向了如何更有效地利用现有架构进行规划。实验中发现了四种新的规划方法，其中两种将 LeWM 在长程任务中的成功率从 22% 提升至 85%，另外两种则扩展了模型处理更难目标的能力。

方法一：基于短视距子目标的层级规划

按照原始设置，LeWM 在目标距离 75 步的任务中成功率仅为 22%。但当目标距离缩短至 25 步时，成功率飙升至 89.7%（精确物理版本为 90.5%）。这说明模型在短视距内表现优异，但在长视距下因误差累积导致失败。

通过将长任务分解为多个 25 步的子任务，并利用专家演示提供中间子目标，LeWM 的成功率提升至 80%。这种方法实现了层级规划：高层负责选择子目标，底层负责执行。相比之下，单纯增加搜索次数（如运行四次计划器并保留最低成本计划）虽然计算量增加四倍，但成功率提升不足 1%。

方法二：构建带跳跃成本的隐藏记忆图

为了摆脱对专家演示提供的显式子目标的依赖，研究引入了“隐藏记忆图”。LeWM 基于专家演示数据训练，其编码器生成的约 460,000 个嵌入状态被连接成一张图。图中不仅包含同一演示内的顺序连接，还包含不同演示间嵌入空间距离相近的状态连接。

规划器在该图中搜索从当前状态到目标状态的路径，并将路径节点作为子目标。实验发现，嵌入空间中的距离与物理可达性高度相关：在 87% 的情况下，物理上可达的目标在嵌入空间中距离更近。

初始版本的缺陷在于跨演示的相邻状态跳跃成本未加权，导致搜索算法生成物理上不可行的路径（在 1,015 个尝试方案中有 318 个使用了六次以上跳跃）。修复方法是增加跨演示跳跃的成本。仅利用 LeWM 自身的嵌入表示，在相同的 250 个长程任务中，成功率从 62% 提升至 85%，效果等同于使用专家子目标。

标准测试偏差与更严格的评估基准

标准的 Push-T 测试存在设计缺陷：所有演示均以相似位置结束，且测试目标多位于演示路径上。数据显示，84% 的标准测试目标在记忆图中已有近似状态。此外，样本量较小导致结果波动大：官方 50 集中 LeWM 成功率为 68%，而在随机绘制的 250 集中降至 44%。

为此，研究构建了更严格的测试基准：每个任务独立采样，且要求方块在最后 10 步保持在目标区域内才算成功。在此标准下，记忆图规划器在标准任务中成功率为 75%，在新任务中仅为 45%。后续两种方法旨在解决这一差距。

方法三：利用变换对称性填补记忆空白

记忆图的覆盖范围有限。当删除目标附近的存储状态时，成功率从 93% 骤降至 32%。利用物理对称性（平移、旋转、反射），可以从其他区域提取演示片段并变换后填入空白处。这种方法将成功率恢复至 85%，并显著提升了小数据集的性能：仅用 1% 的演示加上变换副本构建的图表，其效果相当于用 10% 演示构建的图表。

在更严格的测试中，引入变换片段将成功率从 45% 提升至 56%。具体而言，简单记忆图成功率为 27%，而结合变换记忆的图达到 46%。

方法四：修正代价函数以忽略无关变量

交互式演示显示，若目标图像中包含推进器的特定位置，计划器会试图匹配该位置而非仅关注方块位置。在一次运行中，机器人将方块推至距目标 14 像素处，却不断调整推进器以匹配目标图像中的位置。

实验对比了两种代价函数：一种同时比较方块和推进器位置，另一种仅比较方块位置。在相同 50 个任务中，仅考虑方块位置的精确物理规划器成功率为 39/50，而同时考虑两者时为 9/50。有 30 个任务在移除推进器约束后从失败转为成功，无一例相反情况。这表明目标定义中的噪声严重影响了规划效率。

由于 LeWM 通过嵌入距离评分，无法直接区分“推进器”部分。作为一种变通测试，计划器将每个预测状态与 16 个目标图像版本进行比较，这些版本中推进器位置在存储演示范围内变化，取最接近匹配的得分。这一策略使 LeWM 在严格测试中的成绩翻倍，从 11% 提升至 23%。

理想的目标定义应是一组允许的最终状态集合，而非单一图像副本。大型演示集通常包含同一物体的多种真实状态，通过对这些状态中最接近者进行评分，可以扩大有效最终状态的范围，从而提升规划鲁棒性。

结论与展望

上述四项发现均未改变模型权重，适用于已发布的 LeWM，并可推广至更大的 JEPA 世界模型。目前最大的挑战在于缺乏完美演示数据的任务。在更难的 Push-T 测试中，最佳规划器的保持目标成功率为 56%。缩小这一差距需要更高层级的规划能力，即能够超越现有演示数据自主提出子目标。

实验证明，小型 JEPA 模型在数小时训练后即可达到与模拟器相当的预测精度。当前的瓶颈已从预测准确性转移至如何在无示范区域进行自主子目标选择。