融合多视角图像和三维点云的目标跟踪方法及装置

1.一种融合多视角图像和三维点云的目标跟踪方法，其特征在于，包括以下步骤：基于多视角的二维图像和三维点云分别得到二维特征图和点云特征图；将二维特征图和点云特征图融合后得到的多模态特征图，输入至预训练的多模态融合目标检测模型进行检测得到目标检测框；其中，所述目标检测框包括目标轨迹的三维目标检测结果；根据目标检测框与历史时刻的轨迹跟踪结果的检测框对比结果得到空间位置匹配矩阵，以及对目标轨迹与历史时刻的轨迹跟踪结果的二维图像特征进行计算得到外观特征匹配矩阵，聚合空间位置匹配矩阵和外观特征匹配矩阵得到最终关系度量矩阵；基于最终关系度量矩阵和预设的匹配算法对所述三维目标检测结果与历史时刻的轨迹跟踪结果进行匹配，根据匹配结果得到当前时刻目标轨迹的跟踪轨迹结果；所述基于多视角的二维图像和三维点云分别得到二维特征图和点云特征图，包括：获取多视角的二维图像和三维点云；利用图像处理网络提取所述多视角的二维图像得到初始特征图，根据不同的相机参数将初始特征图投影到三维鸟瞰图进行拼接融合，以得到多视角融合的二维特征图；以及，利用点云处理网络将所述三维点云进行时空配准后融合得到多角度稠密点云，并对所述多角度稠密点云进行特征提取得到点云特征图；所述点云处理网络包括特征提取网络和骨干网络；所述骨干网络包括第一子网络和第二子网络；所述图像处理网络包括卷积神经网络，所述方法，还包括：将所述多视角的三维点云输入所述特征提取网络进行点云转换得到伪图像，将所述伪图像输入所述第一子网络进行不同空间分辨率特征图的特征提取；将所述不同空间分辨率特征图提取的特征输入所述第二子网络进行反卷积操作后并串联得到所述点云特征图；以及，将所述多视角的二维图像输入所述卷积神经网络计算多通道特征图，利用多通道特征图的投影变换进行多相机信息聚合，以将多通道特征图投影到三维鸟瞰图进行拼接融合得到所述二维特征图；所述方法，还包括：获取多模态特征图的样本数据，利用所述样本数据进行目标检测框的数据标注，利用标注好的数据训练所述多模态融合目标检测模型；将待进行轨迹跟踪的二维图像和三维点云输入至训练好的多模态融合目标检测模型进行目标轨迹检测，得到每个预测时刻的三维目标检测结果；所述方法，还包括：根据当前时刻三维目标检测结果的检测框几何信息和历史时刻匹配得到的轨迹跟踪结果中的检测框几何信息进行匹配分数计算，以得到所述空间位置匹配矩阵；将三维目标检测框投影至所述多视角的二维图像，并进行目标轨迹与历史时刻的轨迹跟踪结果的外观特征余弦距离计算得到外观特征匹配矩阵；以及，对所述空间位置匹配矩阵和所述外观特征匹配矩阵进行相加融合，得到当前时刻目标与历史时刻的轨迹跟踪结果匹配的最终关系度量矩阵。 2.一种融合多视角图像和三维点云的目标跟踪装置，其特征在于，包括：特征提取模块，用于基于多视角的二维图像和三维点云分别得到二维特征图和点云特征图；目标检测模块，用于将二维特征图和点云特征图融合后得到的多模态特征图，输入至预训练的多模态融合目标检测模型进行检测得到目标检测框；其中，所述目标检测框包括目标轨迹的三维目标检测结果；特征融合模块，用于根据目标检测框与历史时刻的轨迹跟踪结果的检测框对比结果得到空间位置匹配矩阵，以及对目标轨迹与历史时刻的轨迹跟踪结果的二维图像特征进行计算得到外观特征匹配矩阵，聚合空间位置匹配矩阵和外观特征匹配矩阵得到最终关系度量矩阵；匹配输出模块，用于基于最终关系度量矩阵和预设的匹配算法对所述三维目标检测结果与历史时刻的轨迹跟踪结果进行匹配，根据匹配结果得到当前时刻目标轨迹的跟踪轨迹结果；所述特征提取模块，还用于：获取多视角的二维图像和三维点云；利用图像处理网络提取所述多视角的二维图像得到初始特征图，根据不同的相机参数将初始特征图投影到三维鸟瞰图进行拼接融合，以得到多视角融合的二维特征图；以及，利用点云处理网络将所述三维点云进行时空配准后融合得到多角度稠密点云，并对所述多角度稠密点云进行特征提取得到点云特征图；所述点云处理网络包括特征提取网络和骨干网络；所述骨干网络包括第一子网络和第二子网络；所述图像处理网络包括卷积神经网络，所述特征提取模块，还用于：将所述多视角的三维点云输入所述特征提取网络进行点云转换得到伪图像，将所述伪图像输入所述第一子网络进行不同空间分辨率特征图的特征提取；将所述不同空间分辨率特征图提取的特征输入所述第二子网络进行反卷积操作后并串联得到所述点云特征图；以及，将所述多视角的二维图像输入所述卷积神经网络计算多通道特征图，利用多通道特征图的投影变换进行多相机信息聚合，以将多通道特征图投影到三维鸟瞰图进行拼接融合得到所述二维特征图；所述装置，还包括模型预训练模块，用于：获取多模态特征图的样本数据，利用所述样本数据进行目标检测框的数据标注，利用标注好的数据训练所述多模态融合目标检测模型；将待进行轨迹跟踪的二维图像和三维点云输入至训练好的多模态融合目标检测模型进行目标轨迹，得到每个预测时刻的三维目标检测结果；所述装置，还包括矩阵计算模块，用于：基于当前时刻三维目标检测结果的检测框几何信息和历史时刻匹配得到的轨迹跟踪结果中的检测框几何信息进行匹配分数计算，以得到所述空间位置匹配矩阵；将三维目标检测框投影至所述多视角的二维图像，并进行目标轨迹与历史时刻的轨迹跟踪结果的外观特征余弦距离计算得到外观特征匹配矩阵；以及，对所述空间位置匹配矩阵和所述外观特征匹配矩阵进行相加融合，得到当前时刻目标与历史时刻的轨迹跟踪结果匹配的最终关系度量矩阵。