近日，智能制造与精密加工团队提出一种用于复杂大型装配场景的多目标增强现实辅助装配结果检测方法，在增强现实辅助装配引导的基础上，结合虚实融合、空间感知定位与视觉检测技术，实现了大型运载火箭舱体内复杂场景中各种对象装配结果一致性快速自动化检测，为提高装配检测效率，避免漏检误检，保障产品装配质量提供了一种具有通用性的解决思路。

近年来，增强现实技术在工业领域得到了广泛应用，例如装配辅助、远程维修、操作培训等，用户主要是通过AR设备获取预设好的引导信息。进一步地，研究者们希望AR系统可以具备一定的感知与判断能力，对装配的结果进行自动检验，并向用户提供反馈与建议。为此，如何在将虚拟的装配模型、指令、数据等信息与现实世界建立起特定空间关系的基础上，进一步引入装配检验约束关系，将AR系统与视觉检测技术进行结合，实现复杂大型装配场景下多目标快速检验得到了极大关注。

针对以上问题，研究团队提出了一种基于虚实融合、视觉检测和位置一致性的AR辅助装配结果检验方法。首先，针对大场景高精度三维注册难题，提出了一种基于少量标志的整体三维注册方法，通过场景中少量平面标志的相互校准，提高整体场景的注册精度；进而，基于目标三维包围盒的空间位置信息，结合场景三维注册结果与相机实时位姿，计算目标在视野图像中的平面包围盒，从而实现从三维装配空间到二维检验图像平面的位置对应，将包含多目标的检验图像分割为若干个仅包含单个目标的局部图像；进一步地，利用AR系统空间感知的优势，对检验图像中的对象遮挡、方向偏转、视角不良进行处理分析，提高检验样本的质量；最终，基于神经网络的视觉检测算法，对局部图像进行检测，并与该局部对应的检验目标的先验信息进行对比，判断装配结果与错误类型。

基于以上研究成果，研究团队开发了增强现实辅助装配引导及检验系统（ARAIS），系统运行逻辑如图1所示，并成功地将该系统用于大型运载火箭舱段的装配引导和装配结果检验过程中，实现了连续检验视野中的多目标装配结果快速检验，在将操作人员从繁杂的人工检验流程中解放的同时，提高了检验流程的效率，有效降低了漏检误检出现的概率。未来将会结合6DOF位姿估计与部分柔性目标检测的算法，进一步扩展系统的应用场景。

图1 ARAIS系统运行逻辑

上述研究成果近日以“A novel method of multitarget augmented reality assembly result inspection for large complex scenes”为题，发表于《Transactions of Industrial Informatics》期刊。论文第一作者为清华大学机械工程系博士生余畅，通讯作者为张建富长聘教授，论文作者还包括冯平法教授、王健健副教授和赵甘霖博士。

论文链接：https://ieeexplore.ieee.org/document/10429946

期刊简介：《IEEE Transactions on Industrial Informatics》是一本专注于自动化与控制系统领域的国际学术期刊，2022-2023最新影响因子IF=12.3。