来源：【北京大学】

导读

北京大学人工智能研究院朱毅鑫助理教授团队、美国加州大学洛杉矶分校AIVC实验室蒋陈凡夫教授团队和北京通用人工智能研究院展开深度合作，共同开发了高性能视触觉机器人高性能有限元仿真器 Taccel，相关论文 Taccel: Scaling Up Vision-based Tactile Robotics via High-performance GPU Simulation[1] 被NeurIPS 2025接受为 Spotlight 文章。

视触觉传感器（VBTSs）以其⾼空间分辨率和低成本在触觉机器⼈领域得到了⼴泛应⽤，但其复杂的物理特性也对仿真技术提出了严峻挑战。针对这⼀问题，研究团队开发了⾼性能的视触觉机器⼈仿真平台 Taccel，通过集成先进的刚体-软体耦合仿真算法，精准、⽆穿透地仿真机器⼈、传感器和物体的交互，并在此基础上开发了高精度的触觉信号仿真模块。Taccel 能在长达数十秒的触觉操作任务中产生高度接近真机交互的仿真结果，并提供多种形式的高保真视触觉信号仿真。在 GPU 技术加持下，Taccel 具有惊人的可拓展性，在基准测试中通过数千个环境的并行仿真累计达到18倍于现实的仿真速度。

当下，集成视触觉传感器的机器人不断涌现，Taccel 则⽆疑为注重数据质量的⼤规模触觉机器⼈仿真提供了可靠平台，为设计验证、算法评估、强化学习、数据合成等应⽤提供有⼒⽀撑；其刚体-软体仿真能⼒更可⽆缝拓展⾄柔性机器⼈仿真、柔性物体操作等领域，为更⾼阶的物理交互智能提供基础设施。

论文共同第一作者包括北京大学人工智能研究院博士生李宇飏、美国加州大学洛杉矶分校博士生余畅和访问学者杜文昕；通讯作者包括美国加州大学洛杉矶分校蒋陈凡夫教授、北京大学人工智能研究院朱毅鑫助理教授和和北京通用人工智能研究院黄思远研究员。其他作者包括清华大学博士生李浦豪、北京大学人工智能研究院博士生赵秭杭和北京通用人工智能研究院刘腾宇研究员。

01 引言

通过触觉感知周围环境并与世界互动的能力对于智能机器人是不可或缺的。在压电式、压阻式、电容式等众多触觉传感方案中，视触觉传感器（Vision-Based Tactile Sensors, VBTSs）[2] 已成为该领域的领先技术。

视触觉传感器通常具有一块喷涂了反射涂层和定位点的硅胶形变体（elastomer），在和物体发生接触、摩擦时产生形变；这层涂层被传感器内置的光源照亮，并被内置的相机模组捕捉到。反射的图案可以通过预先标定的映射转换为硅胶形变的深度图，包含了接触的法向力；定位点可以通过简单的图像处理技术追踪，其位移则代表了接触面切向的摩擦力。这样简单、低成本的设计，却使机器人能以极高的分辨率和频率（取决于相机参数）"感受"接触和压力的细微变化，同时能为机器人和物体的接触提供柔性。

图1：视触觉传感器的基本原理，来自 [2]

视触觉传感器在近年来受到了青睐，被装载在各类机械手上用于抓取、物体分类、重建、铰接物体操作等任务，如前文介绍过的 F-TAC Hand[3] 和Tac-Man[4]。

图2：各类搭载视触觉传感器的机械手

02 研究背景：视触觉传感器仿真的挑战

以往研究中，机器人研究者通常会通过 MuJoCo、Isaac Sim、PyBullet 这类机器人物理仿真器来检验算法或训练机器人策略。然而，视触觉传感器在这些成熟的仿真器⾥依然无法很好地被仿真，其主要原因是视触觉传感器的物理仿真和触觉信号仿真具有巨⼤挑战。

挑战 1:

硅胶材料的高精度物理仿真

硅胶是一种超弹性 (hyper-elasticity) 连续介质，这与传统仿真器擅长处理的刚体动力学模型形成了根本冲突：刚体仅有六个自由度，而硅胶作为连续介质，理论上具有无限自由度。在数值求解中，常通过有限元法（Finite Element Methods, FEM）对硅胶模型进行离散化，但这依然会使自由度数量急剧增加，导致动力学方程的求解变得计算密集且耗时；更深层的挑战在于其本构关系：硅胶的超弹性形变是高度非线性的，难以用简单的线性弹性或刚体碰撞模型来描述，常通过 neo-Hookean 模型来建模。尽管许多仿真器中也集成了软体仿真功能，但其采用的仿真模型在机器人策略训练通常所采用的大时间步长下，极易导致硅胶四面体网格反转（inversion）或穿透（penetration），从而造成仿真崩溃或物理不准确。

挑战 2:

构建灵活易用的高性能触觉仿真平台

除了精确模拟硅胶的物理特性外，构建一个真正实用的仿真平台还面临着性能、灵活性和易用性等多重挑战。首先，现用于视触觉传感器仿真的高精度软体仿真器通常运行速度低于实时，且并行化能力有限，这极大地阻碍了机器人学习等需要大规模生成合成数据的前沿研究。其次，许多仿真工具仅支持特定的机器人或传感器配置，缺乏足够的灵活性来适应从简单的平行夹爪到复杂的多指灵巧手等多样化的硬件平台。最后，一个理想的平台不仅需要模拟物理过程，还必须能生成逼真的传感器信号（如RGB图像、深度图），并提供一套对研究人员友好的应用程序接口（API），以便于快速搭建实验场景、配置机器人和传感器，并与主流的机器学习框架无缝集成。这类灵活易用的高性能触觉仿真平台的缺失，减缓了触觉机器人研究和开发的步伐。

为了填补这一技术空白，北京大学人工智能研究院朱毅鑫助理教授团队、美国加州大学洛杉矶分校蒋陈凡夫教授团队和北京通用人工智能研究院的研究者展开深度合作，共同开发了基于GPU计算架构的高性能物理仿真器Taccel（读作“taxel”，意为触觉像素）[1]。Taccel是一个专门针对视触觉传感器及其集成机器人系统设计的高性能仿真平台。该平台构建于NVIDIA warp.sim 模块之上，这一强大的底层框架使 Taccel 能够通过研究人员友好的 Python API 接口直接利用 GPU 的丰富工具生态系统，通过提供高精度且高度可扩展的仿真环境，填补当前技术空白，加速机器人触觉感知与环境交互能力的创新发展。

图3：Taccel 总体介绍

Taccel 集成了基于 NVIDIA Warp 实现的 ABD-IPC 算法，实现精确高效的物理仿真，并提供用户友好的API接口用于灵活配置仿真场景。

03 研究方法

下图展示了 Taccel 仿真器的架构设计。

图4：Taccel的技术架构设计

左：当前 Taccel 基于 warp.sim 的架构；

右：未来版本中将会发布的基于Newton Physics的架构。

底层基座：

基于 NVIDIA Warp 的统一 ABD-IPC 求解器

Taccel 的优秀性能表现，特别是其在大规模并行计算环境中处理复杂体动力学和接触问题的高精度计算能力，来自于 AIVC 实验室的研究团队编写的 Warp-IPC 物理仿真引擎。该引擎耦合了仿射体动力学（Affine Body Dynamics, ABD [5,7]）与增量势接触（Incremental Potential Contact, IPC[6,7]）算法，用于固体材料和机器人系统的高精度仿真。

图5：Taccel 中表征刚性和柔性体的方式

在 Warp-IPC 中，弹性的物体和视触觉传感器的硅胶形变体被建模为四面体网格结构的 neo-Hookean 模型，而刚性的物体和机器人连杆被建模为 12 自由度的仿射体（affine body）模型——相比传统的 6 自由度刚体，额外的自由度能建模这些物体的细微形变，从而降低复杂系统求解的难度并提升仿真精度。

图6：Taccel 的底层仿真框架 Warp-IPC 的基本原理

如上图所示，物理仿真的本质则是对这些模型的状态进行离散时间积分（time integration），通过求解 ABD-IPC 的优化目标，从当前时间步的状态求解下一时间步状态，从而实现时间步的迭代；在此过程中，IPC 算法能够严格保证仿真中的接触过程无反转（inversion-free）和无穿模（intersection-free），具有良好的真实性。这种技术组合确保了在复杂接触场景（如下方视频所展示的螺栓螺母装配任务）中实现稳定且物理真实的仿真行为表现。

图7：Taccel 仿真具备视触觉传感器硅胶的机械抓夹操作螺栓螺母装配任务

此外，为更进一步提升仿真性能，开发者实现了仿真场景隔离的功能，允许用户像 IsaacGym 一样并行配置和仿真若干个环境，从而提升仿真速度。每个环境的时间迭代和数值计算相互隔离，且迭代收敛的环境会被及时忽略，进一步提升了并行仿真的稳定性和效率。

为 ABD、IPC 这类复杂物理仿真算法编写高效的并行化代码是一项技术门槛很高的挑战性任务——这正是团队所使用的 NVIDIA Warp 框架发挥关键技术优势的核心所在。Taccel 深度利用 NVIDIA Warp [8] 这一Python开发框架的强大功能，该框架允许开发人员在保持Python语言便利性的同时编写高性能仿真和图形计算代码，这些代码通过即时编译（JIT）技术转换为针对 NVIDIA AI 计算基础设施高度优化的 CUDA 内核，使开发者能够在保持Python开发环境高效性的同时，开发复杂的物理仿真算法，并实现接近底层GPU编程的计算性能。在未来，研究团队计划将仿真器迁移至 NVIDIA Newton Physics 架构，适配下一代物理仿真平台和生态。

上层建筑：

灵活和可拓展的的机器人与触觉信号仿真

基于 Warp-IPC 仿真功能，Taccel 提供了机器人、传感器的物理仿真，以及多种视触觉传感器信号的仿真。

在构建仿真场景时，用户除常规的机器人 URDF 模型、物体的三角形网格或四面体网格外，只需要额外提供触觉传感器硅胶的三角形网格及其节点的类型标注（反射涂层、传感器外壳粘连面）。对于需要仿真切向定位点的传感器，需要提供和硅胶三角形网格在同一坐标系下的定位点坐标，将其转化为硅胶表面网格的重心坐标（barycentric coordinate），用于在仿真过程中重新定位定位点。这些数据往往可以轻易通过 Solidworks 等上游设计软件导出，且 Taccel 中提供了工具帮助用户配置和可视化自定义的传感器和机器人，和常见的机器人仿真工作的操作流程相吻合。

完成仿真场景构建后，可以对仿真场景进行时间步迭代。对机器人和物体的状态数组进行复写，即可重置其状态；对机器人的关节空间位置控制目标通过正运动学转换为连杆在笛卡尔空间的运动目标（Dirichlet 边界条件），作为约束施加在迭代过程中；在实际优化中，则通过增广拉格朗日方法将约束优化转化为无约束优化问题。

图8：Taccel 仿真装备触觉传感器的 RobotiQ-3F 机械手抓取并举起弹性玩具熊

Taccel不仅能够精确仿真复杂的物理交互过程，还能生成高保真度的触觉感知信号。每一步物理仿真迭代完成后，可以将硅胶四面体网格状态提取出来，用于计算触觉信号。Taccel 提供了两类触觉信号的仿真：低分辨率信号，即定位点及其位移；高分辨率信号，包括传感器的 RGB 图像和深度图。对于前者，Taccel 直接将定位点通过相机内外参将三维定位点坐标转换到图像坐标系；对于后者，Taccel 首先通过内置相机参数对硅胶网格进行光线追踪，得到硅胶法向形变的深度图、法向图，然后通过小规模标定数据拟合得到的 MLP 网络将法向图和像素坐标映射到 RGB 空间的颜色变化，和参考图（传感器在硅胶无形变状态下的 RGB 信号）叠加，得到仿真的视触觉 RGB 图像。这些合成的触觉数据可广泛应用于合成触觉数据集的生成以及触觉感知引导的机器人操作任务仿真。

图9：Taccel 生成触觉信号的基本原理

04 性能评估

Taccel从系统设计之初便致力于在物理仿真和触觉信号合成方面实现高精度表现，提供良好的仿真可扩展性，以及在仿真场景构建等方面的高度灵活性。在完成仿真器构建后，研究人员从精度、可扩展性、易用性等方面对 Taccel 进行了全面的评估。

精度

仿真过程中，ABD-IPC 算法为接触、摩擦等物理现象的仿真精度提供了保证，特别是硅胶和物体接触后产生的接触力和硅胶形变。在此基础上，上述传感信号生成方法则提供了良好的触觉信号仿真能力。为了评估这一点，研究人员构建了仿真-真机对比试验来分析 Taccel 仿真器对硅胶在多种物理过程中的形变仿真精度和触觉信号精度。为定量评估 Taccel 的精度，研究人员构建了如下图所示的仿真-真机对比试验环境，分别测试了传感器正向按压各类测试物体得到的高分辨率触觉信号逼真度 (a) 和传感器装配在机械抓夹后夹握不同摩擦系数的测试条并摩擦得到的低分辨率定位点位移准确度 (b)。实验结果表明，Taccel 对物理仿真和触觉信号仿真均有较高的精度。

图10：针对 Taccel 的仿真精度评估实验

可拓展性

Taccel 继承了底层 Warp-IPC 提供的并行能力，且在机器人仿真、触觉信号生成等计算过程中也进行了合适的并行加速，因此具备强大的仿真可扩展能力。在下图所展示的双触觉传感器导向的插销装配任务中，Taccel 能够在单块 80GB 显存的 HPC GPU 硬件上同时运行超过4096个并行仿真环境实例，达到了累计915帧每秒（FPS）的仿真速度（真实世界的18倍速）。这种大规模并行仿真能力对于合成数据生成和强化学习等用途具有重要的价值。

图11：Taccel 并行执行 4096个插销装配任务仿真环境，展示了Taccel的大规模并行化计算能力

易用性

系统提供了直观易用的Python API接口，使用户能够便捷地从URDF文件格式加载机器人模型、配置传感器参数以及定义物体材料属性。与仿真系统的交互操作，例如设定运动学目标参数，可以使用研究人员熟悉的数据格式如NumPy数组或PyTorch张量来完成。借助 NVIDIA Warp 和 Newton Physics 框架的技术支持，Taccel无缝集成了多项先进功能特性，包括 OpenGL 的实时可视化、基于USD标准的高质量渲染等，丰富了仿真体验的完整性。

05 Taccel 支撑的

高精度、高拓展性触觉机器人仿真

在高精度物理仿真和触觉信号合成能力的坚实支撑下，Taccel 在仿真复杂接触丰富的机器人操作任务方面展现出良好的性能表现，为支撑未来的视触觉机器人算法设计、验证等研究工作提供了支持。作为一个典型案例，研究人员在 Taccel 中测试了团队前作 Tac-Man [4] 操作框架在操控铰接式物体方面的表现，包括抽屉（棱柱型关节）、微波炉门（旋转型关节）等多种复杂机构。在仿真与真实世界的对比验证实验中，Taccel 能够精确仿真关键的硅胶形变体变形特征和接触动力学过程，体现出硅胶的柔性，从而生成与真实世界执行轨迹高度吻合的执行-恢复运动模式。

图12：Tac-Man 操作任务的真实世界执行与Taccel仿真结果对比，展示了非常小的仿真-现实差距

图13：更多Tac-Man操作任务的仿真展示，包括橱柜、抽屉以及螺栓螺母装配等复杂操作场景

06 总结与展望

Taccel 代表了在 NVIDIA Warp 和 Newton Physics 引擎强力驱动下，视触觉机器人仿真技术领域的一项重要基础工具。Taccel 实现了精确性、可扩展性和灵活性的良好融合，这一技术突破使视触觉机器人研究人员能够仿真更为复杂的交互过程，生成用于机器学习的海量高质量合成数据，并在机器人及传感器设计方面实现快速迭代优化。

延伸阅读

1. 仿射体动力学（ABD）：https://dl.acm.org/doi/10.1145/3528223.3530064

2. 增量势接触（IPC）：https://ipc-sim.github.io/

3. NVIDIA Warp：https://nvidia.github.io/warp/

4. Newton Physics：https://developer.nvidia.com/newton-physics

5. NVIDIA 技术博客报导：https://developer.nvidia.com/blog/train-a-quadruped-locomotion-policy-and-simulate-cloth-manipulation-with-nvidia-isaac-lab-and-newton/

供稿 | 李宇飏

排版 | 梁文凯玥

本文来自【北京大学】，仅代表作者观点。全国党媒信息公共平台提供信息发布传播服务。

ID：jrtt