• 跨物体精准操控： 从微小零件到厚重书本、细长棍体乃至复杂几何结构，系统首次实现了跨类别、跨尺寸、跨姿态的稳定旋转与操控，在通用性与精度上均迈出关键一步。

• 任意姿态多轴旋转： 无论手掌朝上、朝下还是侧向，均可沿任意轴向实现连续、稳定的旋转动作，真正做到“手随心转”。

• 高灵巧、高鲁棒遥操作： 能够自如完成抓取、旋转、拧动等多类工具操作，从拧螺丝到家具组装，展现出应对长程、复杂任务的稳定能力。

• 弥合仿真与现实的鸿沟： 在缺乏大规模成功操作样本的条件下，系统依然能够基于偏分布的真实数据完成高精度学习，有效克服灵巧操作中的 Sim2Real 差距，实现从“实验室演示”到“真实世界落地”的从0到1突破。

这次破了什么“卡点”？

过去，灵巧手研究经常受困于“限定条件”：物体形状简单、尺寸受限、手腕姿态受限。一旦换角度、换抓姿，接触点与摩擦条件剧变，Sim2Real 就容易崩。

研究团队提出了一种新颖的模拟到现实框架，用于灵巧的手内旋转。该框架基于关节神经动力学模型和自主数据采集，旨在解决学习复杂交互动力学和获取真实世界交互数据的核心挑战。

除此之外，他们还提出了一种手内物体旋转策略，该策略在手腕处于复杂姿态的情况下，能够以前所未有的通用性旋转具有挑战性的物体。

研究团队的核心思想是通过一个更具泛化性的动力学模型来分解学习问题，从而实现更具可扩展性的数据采集策略。

首先，他们让模型学习了一个关节级的神经动力学模型。该模型分解了系统，并仅使用每个关节自身的本体感觉历史来预测其演化。

这种设计本身不受物体状态估计困难的影响，并且减少了无关变量的变异性，该模型变得非常高效且具有泛化能力。

通过以与任务无关的方式对机械手施加随机载荷，模型能够在避免故障和人工重置需求的同时采集数据。利用低成本且可扩展的数据学习一个能够很好地泛化的动力学模型，然后利用该模型训练一个残差策略，将基于仿真训练的基础策略适配到真实世界，从而实现广泛的泛化能力。

几乎与全手模型一样强

模型在 310 万条模拟轨迹上训练，并在实际环境中进行评估，其表达能力几乎与全手模型一样强。

在数据有限的情况下使用 7500 条在真实世界中自主采集的轨迹以及不同大小的真实世界数据集，模型的样本效率更高，在实际环境中取得了更好的性能。

在 OOD 真实世界测试集（“拇指向上”腕关节下的任务相关转换）上，模型在高数据量和低数据量情况下都具有更好的泛化能力。

总而言之，对于数据驱动的神经动力学，在数据不足或训练-测试分布偏移的情况下，联合模型显著优于整体手模型；在数据充足且进行域内评估的情况下，两者的性能相近，联合模型的表达能力仅略有下降。

同时，旋转策略使远程操作系统能够执行复杂的、长时程的操作任务。

消融实验的结果表明，随着真实世界数据量和收集迭代次数的增加，模型性能有所提升。

相比之下，全手模型从额外数据中获益甚微，尤其是在自主收集的情况下，这可能是由于其更高的维度以及自主数据与旋转任务转换之间的分布不匹配所致。

虽然该框架能够旋转复杂物体，但模型的性能上限受限于部分观测数据。相关人员表示，未来会利用更丰富的信号联合建模手-物体之间的运动转换，以及整合触觉信息。

参考资料：

https://meowuu7.github.io/DexNDM/static/pdfs/DexNDM.pdf