EBR模型以1/345算力实现99.9%推理准确率

研究人员提出基于能量的推理器EBR,解决循环模型停止时机难题。该模型在Sudoku-Extreme任务中达99.9%准确率,推理计算量仅为次优模型的1/345,且训练成本相当,展现了提升推理性能的巨大潜力。

针对循环模型在推理过程中缺乏明确进度指标、难以确定停止时机及优化方向的问题,研究人员提出了基于能量的推理器(EBR)。该模型通过学习潜在推理状态的能量函数,将循环更新过程转化为能量上的梯度下降操作。在这一机制中,能量值用于记录潜在状态,而能量梯度则指导状态的精细化并提供停止信号。

Sudoku-Extreme准确率99.9%

为提升 EBR 的训练效果,研究团队引入了基于探索的训练方法,旨在发现更多模式并塑造更广泛的潜在状态能量景观。实验数据显示,在四个算法推理基准测试中,EBR 的性能与现有的迭代推理模型相当或更优。特别是在 Sudoku-Extreme 任务上,EBR 达到了 99.9% 的准确率,其推理计算量仅为次优模型的 1/345,同时保持了可比的训练计算成本。

此外,在所有涉及多解方案的基准指标上,EBR 实现了最先进的有效解决方案覆盖率,并维持了接近 100% 的单样本准确性。结果表明,基于能量的模型是提升推理性能的一种极具潜力的技术路径。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读