有效

基于视觉图像和雷达张量稀疏提议融合的3D目标检测跟踪方法

李洪富、凌剑辉、顾明红、郭祖源、候帅琦、李武军、易伟、孔令讲
成都橙艺未来科技有限公司

摘要

本发明提供了一种基于视觉图像和雷达张量稀疏提议融合的3D目标检测跟踪方法,首先对视觉图像的颜色纹理信息进行泛化提取,建立多尺度语义高维特征;其次使用SCAN提取雷达张量的多尺度空间高维特征,再将可学习的感知探针分别映射至雷达和视觉高维特征空间,借助多头可形变注意力对不同模态特征进行泛化稀疏,形成雷达和视觉提议特征;然后进行雷达和视觉提议特征的稀疏提议融合,完成3D目标检测;最后对检测结果开展混合多特征级联匹配、批航迹管理,并将生成的航迹时序信息反馈至前端可学习的感知探针,实现基于时序信息引导的主动式目标检测与跟踪一体循环递进网络。本发明方案建立了单帧目标检测与时序目标跟踪的一体主动式感知框架,增强了自动驾驶中多源传感器对环境目标感知的可靠性。