动作捕捉技术广泛应用于虚拟现实、人体工程学、医疗康复、影视制作等领域。基于惯性传感器的方法由于对环境要求低、无遮挡问题，在捕捉大规模、复杂多人环境中的人体运动方面具有明显优势，尤其是基于少量惯性测量单元的方法由于其简单性和灵活性而具有更大的研究价值。但是，这类方法往往使用的是深度神经网络，会给设备带来较大的计算负担，提高此类方法的计算效率、减少延迟，并在便携式终端上进行算法部署具有极大挑战性。

针对以上问题，高端装备界面科学与技术全国重点实验室研究人员提出了一种基于六个惯性传感器的新算法结构FIP（Fast Inertial Poser），为便携式终端的部署带来了一种新的思路。该方法分为两个阶段，关节位置估计和运动学逆解。与之前的方法相比，该方法效率提升的主要原因为：第一，消除了额外的优化设计；第二，基于“最小测量原则”，通过考虑人体形状参数（身高、腿长、单臂长）和性别，使用运动学逆求解器和不同传感器的共享模型来增强神经网络结构的表达能力；第三，去除RNN的双向传播机制。在位置估计阶段，FIP使用三个独立的循环神经网络（RNN）来估计叶节点和其余节点的位置。为了使模型推理过程更接近真实的物理过程，FIP使用传感器共享积分RNN来估计叶节点的位置。此外，对于每个RNN，人体参数信息通过嵌入式编码的方式输入到算法网络中。

图1.FIP算法示意图

网络具体设计如图2所示，主要使用的子模块为单向循环网络RNN和多层感知机MLP，通过将人体骨架信息输入到不同的模块形成人体形状相关的约束，设计了一种基于人体运动树的特殊逆运动学求解器，帮助模型求解当前帧中关节的旋转。

在基于开源数据集的实验中显示，FIP在保证重建精度的同时降低了动作重建的延迟和解算时间，在PC上的计算时间仅需要2.7毫秒/帧，在Nvidia NX2TX嵌入式开发板上能够以15毫秒延迟和65FPS的帧率稳定运行，为在移动终端的实时人体运动重建提供了一种全新的思路。

图2. FIP算法Pipeline

相关研究成果以“基于稀疏传感器考虑人体形状快速重建人体运动”（Fast Human Motion reconstruction from sparse inertial measurement units considering the human shape）为题，于3月18日发表于《自然·通讯》（Nature Communications）杂志。

清华大学机械系硕士毕业生肖轩为论文第一作者，机械系教授张建富为论文通讯作者，机械系本科毕业生宫傲，机械系教授冯平法、副教授王健健、助理研究员张翔宇共同参与了研究工作。研究得到清华大学国强研究院项目的支持。

论文链接：

https://doi.org/10.1038/s41467-024-46662-5