1.一种基于视觉图像和雷达张量稀疏提议融合的3D目标检测跟踪方法,其特征在于,所述方法包括以下步骤:步骤S1,视觉图像多尺度语义特征提取与视觉提议特征产生:采集车端摄像头图像数据,使用由卷积构成的骨干网络提取图像语义纹理特征,然后使用特征金字塔网络FPN产生多尺度语义特征,在车身坐标系下产生可学习的感知探针,结合车身坐标至图像坐标的投影矩阵,使用多尺度可形变注意力进行特征增强和视觉提议特征产生;步骤S2,雷达张量多尺度空间特征提取与雷达提议特征产生:采集车端雷达数据,通过预处理获取雷达张量数据,使用耦合雷达回波强度和空间方位感知协同增强网络SCAN提取雷达空间特征,再使用FPN产生多尺度空间特征,然后利用可学习的感知探针位置及对应探针特征,结合车身坐标至雷达张量坐标的投影矩阵,使用多尺度可形变注意力进行特征增强和雷达提议特征产生;步骤S3,基于视觉提议特征和雷达提议特征进行稀疏门控融合:对完成关联匹配的视觉提议特征和雷达提议特征进行拼接产生粗融合提议特征,并使用一个线性网络对粗融合提议特征进行自适应证据学习,然后通过激活函数对不同模态证据进行动态置信度差异化评估,并基于动态差异化置信度完成提议级稀疏门控融合;步骤S4,基于视觉和雷达融合提议特征进行3D目标检测:获得视觉和雷达融合提议特征后,分别使用目标分类任务头和回归任务头实现对3D目标类别和属性信息的提取;步骤S5,目标检测结果与历史航迹间的混合多特征级联匹配:首先基于融合提议特征进行一致性匹配,然后进行耦合位置、高维特征和尺寸的多特征局部全局代价最小匹配;步骤S6,批航迹管理与航迹信息反馈引导:使用群体认知航迹管理范式并行处理整个数据批次的航迹推演、关联匹配与生命周期管理,同时将群体认知航迹时序信息自适应反馈至对应场景步骤S1和步骤S2中以扩展感知探针,使得感知探针同时囊括整个训练数据的全局统计性先验和当前航迹的个体历史先验,以实现3D目标检测和跟踪的一体主动式循环递进。
2.根据权利要求1所述的方法,其特征在于,所述步骤S1具体包括:使用特征金字塔网络FPN产生多尺度语义特征 ,表示为: ;其中, 表示第s个尺度的视觉高维语义特征, 表示输入视觉图像;在车身坐标系下产生可学习的感知探针,感知探针包含探针位置 及对应探针特征 ,结合传感器部署时标定产生的车身坐标至图像坐标的投影矩阵 ,使用多尺度可形变注意力进行特征增强和视觉提议特征产生,表示为: ;其中, 表示视觉提议特征, 表示第s个尺度下第k个可形变采样点的注意力权重,注意力权重先随机初始化,其后通过训练进行调整优化,S表示多尺度数量, 为视觉可形变采样点数, 表示根据探针坐标 P获取特征空间 中对应特征,并与特定特征 耦合增强的函数,N表示有N个相同的模块叠加, 表示考虑坐标变换偏差和时间偏差后对探针坐标的主动自适应修正,由初始探针位置 加微小可学习位置偏移产生,其中位置偏移由初始探针的位置编码特征PE与探针特征 之和经过一个线性网络Linear产生,表示为: ; 表示可形变注意力在特征空间的第k个采样点的位置偏移,其由初始探针的位置编码特征PE与探针特征 之和经过一个线性网络Linear产生,表示为: 。
3.根据权利要求1所述的方法,其特征在于,所述步骤S2具体包括:使用耦合雷达回波强度和空间方位感知协同增强网络SCAN提取雷达空间特征,然后使用FPN产生多尺度空间特征 ,表示为: ;其中, 表示第s个尺度的雷达高维空间特征, 表示输入雷达张量,SCAN由SCA子网络堆叠而成,SCA子网络包含两部分,第一部分表示对雷达回波强度的增益,第二部分表示对雷达空间方位的感知增益,两者协同共同增强对雷达空间特征的提取,如下所示: ;其中,SCA表示耦合雷达回波强度和空间方位感知协同子网络, 表示输入特征, 表示Sigmoid激活函数,C表示卷积操作,Avg表示沿着通道维度对输入特征取平均值,Max表示沿着通道维度对输入特征取最大值, 表示沿着通道维度进行拼接,CRC表示由卷积、ReLU激活函数、卷积组成的模块网络,AvgPool表示在空间维度做平均池化,MaxPool表示在空间维度做最大值池化;利用步骤S1中的可学习的感知探针位置 及对应探针特征 ,结合传感器部署时标定产生的车身坐标至雷达张量坐标的投影矩阵 ,使用多尺度可形变注意力进行特征增强和雷达提议特征产生,表示为: ;其中, 表示雷达提议特征, 为雷达可形变采样点数。
4.根据权利要求1所述的方法,其特征在于,所述步骤S3具体表示为: ;其中, 表示视觉和雷达融合提议特征, 表示沿着通道维度进行拼接, 表示Sigmoid激活函数。
5.根据权利要求1所述的方法,其特征在于,所述步骤S4具体表示为: ;其中,c表示目标类别信息,ReLU表示激活函数,LN表示LayerNorm归一化处理,M表示M个相同的模块堆叠,x、y和z表示目标的3D坐标,l、w和h表示目标的3D尺寸,分别为长、宽、高, 表示目标旋转角。
6.根据权利要求1所述的方法,其特征在于,所述混合多特征级联匹配分为两个阶段,首先是基于融合提议特征反馈的一致性匹配,即上一时刻的融合提议特征反馈至当前时刻的目标检测过程,当前目标检测结果同上一时刻反馈的融合提议特征保持一致性,则上一时刻的融合提议特征对应的目标同当前时刻的检测结果成对匹配;其次是耦合位置、高维特征和尺寸的多特征局部全局代价最小匹配,该方法利用目标检测结果和时序航迹信息中的位置、尺寸信息和融合提议特征构建局部混合多特征代价矩阵,再使用匈牙利算法实现对检测目标和航迹目标的局部最优匹配,表示如下: ;其中,D表示局部混合多特征代价矩阵, 和 分别表示一致性匹配后剩余的当前时刻和上一时刻的目标位置信息,G表示状态转移方程, 和 分别表示对应当前时刻和上一时刻的融合提议特征, 和 分别表示对应当前时刻和上一时刻的目标尺寸信息, 、 和 分别表示由经验产生的关于位置、提议特征和尺寸信息的贡献度。