1.一种基于实例结构相关性的二维图像中三维目标检测方法,其特征在于,包括:采集交通场景中的RGB图像集,利用RGB图像集构建训练集与测试集;构建基于卷积神经网络的三维目标检测模型,所述三维目标检测模型包括RGB图像特征提取主干网络、实例结构相关性构建模块和多任务检测分支;利用所述训练集与测试集对所述三维目标检测模型进行训练,通过随机梯度下降算法计算多任务损失函数,对三维目标检测模型中的参数进行更新,直至三维目标检测模型收敛,得到训练好的三维目标检测模型;利用所述训练好的三维目标检测模型对待检测二维RGB图像中的三维物体进行检测。
2.根据权利要求1所述的方法,其特征在于,所述的采集交通场景中的RGB图像集,利用RGB图像集构建训练集与测试集,包括:采集交通场景中的RGB图像集,按照1:1的比例将RGB图像集分成训练集与测试集,对RGB图像中的交通场景中常见物体进行类别标记,对常见物体的位置、尺寸与转角进行标注,对所有RGB图像进行归一化处理。
3.根据权利要求1所述的方法,其特征在于,所述的构建基于卷积神经网络的三维目标检测模型,所述三维目标检测模型包括RGB图像特征提取主干网络、实例结构相关性构建模块和多任务检测分支,包括:构建基于卷积神经网络的三维目标检测模型,所述三维目标检测模型包括RGB图像特征提取主干网络、实例结构相关性构建模块和多任务检测分支,所述特征提取主干网络包含4个卷积模块,用于提取多层级外观及结构特征,所述实例结构相关性构建模块以实例的结构特征做为输入,构建实例之间的相关性,所述多任务检测分支用于利用分类器对三维目标进行分类,并确定三维目标在二维及三维空间中的位置。
4.根据权利要求1或2或者3所述的方法,其特征在于,所述的利用所述训练集与测试集对所述三维目标检测模型进行训练,通过随机梯度下降算法计算多任务损失函数,对三维目标检测模型中的参数进行更新,直至三维目标检测模型收敛,得到训练好的三维目标检测模型,包括:步骤S3-1:初始化所述三维目标检测模型的参数,具体包含特征提取主干网络以及分类器与回归器中所包含的卷积层、全连接层与归一化层中的参数;步骤S3-2:设置训练参数,该训练参数包括学习率、冲量、批量大小与迭代次数,采用随机梯度下降算法对三维目标检测模型进行训练;步骤S3-3:计算目标函数值,对于任一迭代批次,将全部图像输入至三维目标检测模型,并得到三维目标检测模型估计的类别、位置、尺寸与深度信息,通过与实际标注值的误差得到目标函数值,三维目标检测模型训练时共计算三种目标函数值:其中公式(1)中的s i 与p i 分别为第i个目标的类别标注与估计概率,公式(2)中的 与公式(3)中的 分别代表第i个目标的二维估计框与三维估计框,gt表示实际标注值,N表示目标总数;步骤S3-4:将多个目标函数值相加得到总目标函数值,并分别对三维目标检测模型中的所有参数求偏导数,通过随机梯度下降法对参数进行更新;步骤S3-5:重复进行步骤S3-3与步骤3-4,不断更新三维目标检测模型的参数,直至训练过程中的目标函数值不再下降,三维目标检测模型收敛,最后输出训练好的三维目标检测模型参数。
5.根据权利要求4所述的方法,其特征在于,所述的利用所述训练好的三维目标检测模型对待检测二维RGB图像中的三维物体进行检测,包括:将需要检测的二维RGB图像输入到训练好的三维目标检测模型中,通过主干特征提取网络提取所述二维RGB图像的结构特征图R,结构特征图R的维度为C×H×W,其中C、H与W分别为维度、高和宽,将特征图R表示为N个C维特征的集合:R=[r 1 ,r 2 ,...,r N ] T ,其中N=H×W;在所述结构特征图R中增加位置编码,该位置编码表示物体在二维图像中所处的位置信息;将增加了位置编码的结构特征图R输入到实例结构相关性构建模块,实例结构相关性构建模块根据结构特征图R中的区域与训练标注的区域之间的重合度选取训练实例区域,将训练实例区域中的特征进行平均池化操作,得到该实例的特征向量n=pool(r 1 ,r 2 ,...,r i ),其中r 1 ,r 2 ,...,r i 为位于该实例内部的特征向量;实例结构相关性构建模块通过多个自注意力分支得到不同维度的自注意力图,整合得到实例之间的结构相关性,在得到全局实例结构相关性后,通过矩阵相乘实现实例结构特征的更新:其中W v 为可训练参数矩阵, 为归一化系数,j列举全部与实例i相关的实例, 为实例i更新后的特征向量,采用残差网络结构将引入位置编码的多头实例结构相关性构建模块表示为:其中n i 为实例i的结构特征,p i 为其对应的位置编码,y i 为经过相关性更新之后的输出特征, 为单头自注意力机制,由可训练参数矩阵 表示,δ为Softmax函数,W y 为可训练参数矩阵;多任务检测分支根据相关性更新之后的输出特征获取待检测二维RGB图像中的三维物体的类别和位置信息。