一种车载视觉实时多目标航向角估计方法及装置

1.一种车载视觉实时多目标航向角估计方法，其特征在于，包括：步骤1，采用离线数据集事先训练好的单阶段二维目标检测模型YOLOv3提取输入的单目单帧图像的深度卷积神经网络特征图；步骤2，在所述步骤1提取得到的深度卷积神经网络特征图上进行二维目标的优化定位，并对车辆、行人和骑车人三类交通道路参与者多目标进行分类优化，输出目标框所对应目标的二维位置和类别；步骤3，根据所述步骤1提取得到的深度卷积神经网络特征图、以及所述步骤1得到的目标的二维位置和类别，通过直接回归该目标的连续观测角度α，分别得到观测角度α的正弦值sinα和余弦值cosα，考虑角度的周期性同时平方和约束正弦值sinα和余弦值cosα，最终获得目标相对自车的观测角度α的唯一确定值，目标相对自车的观测角度α为目标的运动方向 与横轴x’的正方向之间的夹角，x’轴在水平面内与z’轴相垂直，正方向为自车前进方向的右侧方向；z’轴是自车的几何中心O与目标的几何中心O’之间的连线，正方向为自车指向目标的方向；步骤4，根据步骤3获得的观测角度α，利用下式(1)计算得到目标的航向角 式(1)中，x 3d 为目标框在世界坐标系中的横向位置，z 3d 为目标框在世界坐标系中的纵向位置。 2.如权利要求1所述的车载视觉实时多目标航向角估计方法，其特征在于，所述步骤2具体包括：根据所述深度卷积神经网络特征图，获得每一个真实目标附近同时检测出的多个可能目标框；根据每一个所述可能目标框与基准目标框的重叠率，从每一个真实目标的多个可能目标框中筛选出重叠率最高的目标框，作为对应目标的最终目标框，并依据最终目标框所对应的目标定位信息，该目标定位信息包括目标的二维位置；根据所述最终目标框对应的目标定位信息中的置信度，采用层级分类策略预测目标所属大类和小类的条件概率，通过将该置信度、所属大类的条件概率和小类的条件概率相乘获得的乘积，作为目标所属小类的绝对概率。 3.如权利要求2所述的车载视觉实时多目标航向角估计方法，其特征在于，采用层级分类策略预测目标所属大类的方法包括：步骤21，根据所述的深度卷积神经网络特征图和目标定位信息中的最终目标框的几何中心在图像坐标系中的横纵坐标位置和置信度，该置信度为第一层动态目标节点的绝对概率Pr(Object)，辨识该目标框所对应的目标是否属于车辆、行人和骑车人三类动态目标(Object)，如果是，则将该目标框以外的图像部分视为背景；步骤22，在动态目标(Object)中合并类间差距小的目标类别，并辨识出合并后得到目标类别是否属于人(Person)大类或车辆(Car)大类，并输出第二层目标的条件概率，其中，如果辨识结果属于人(Person)大类，则第二层目标的条件概率为人节点的条件概率Pr(Person|Object)；如果辨识结果属于车辆(Car)类，则所述第二层目标的条件概率为车节点的条件概率Pr(Car|Object)。 4.如权利要求2所述的车载视觉实时多目标航向角估计方法，其特征在于，步骤22获得二层目标的条件概率为人节点的条件概率Pr(Person|Object)的情形下，采用层级分类策略预测目标所属小类的方法包括：步骤23，在人(Person)大类下辨识目标类别是否属于行人(Pedestrian)小类或骑车人(Cyclist)小类，并输出第三层目标的条件概率，该第三层目标的条件概率包括行人节点的条件概率Pr(Pedestrian|Person)和骑车人节点的条件概率Pr(Cyclist|Person)；步骤24，根据步骤21提供的第一层的绝对概率Pr(Object)、步骤22输出第二层目标的条件概率Pr(Person|Object)和步骤23输出的第三层目标的条件概率，利用下式(2)计算第三层的行人(Pedestrian)小类对应的绝对概率Pr(Cyclist)，利用公式(3)计算第三层的骑车人(Cyclist)小类对应的绝对概率Pr(Pedestrian)；步骤25，比较步骤24计算得到的行人(Pedestrian)小类对应的绝对概率Pr(Cyclist)和骑车人(Cyclist)小类对应的绝对概率Pr(Pedestrian)，如果Pr(Cyclist)大于Pr(Pedestrian)，则最终目标框所对应的目标所属类别为骑车人(Cyclist)小类；如果Pr(Cyclist)小于Pr(Pedestrian)，则最终目标框所对应的目标所属类别为行人(Pedestrian)小类。 5.如权利要求1至4中任一项所述的车载视觉实时多目标航向角估计方法，其特征在于，所述步骤3中平方和约束正弦值sinα和余弦值cosα具体包括：步骤31，设计下式(6)表示的观测估计子任务分支总的损失函数：式(6)中，L α (Θ)为训练集中所有目标观测估计的损失函数ψ k (Θ)的平均值，Θ为模型需要学习的参数，下标k为目标框的标号，为整数，取值范围为0～N，N是训练样本中所有目标框的数量；观测估计子任务分支训练的目的是通过训练样本的学习使总的损失函数L α (Θ)最小化，当L α (Θ)最小化时对应的Θ，即为学习到的模型参数，为模型的输出；步骤32，训练集中所有目标观测估计的损失函数的平均值ψ k (Θ)包括正弦值 余弦值 和角度平方和约束 三部分，设计如下：式(7)中， 是第k个目标框的观测角的正弦估计值， 是第k个目标框的观测角的余弦估计值，sinα * 是第k个目标框的观测角的正弦真实值，cosα * 是第k个目标框的观测角的余弦真实值，正弦值 和余弦值 采用L1范数损失，角度平方和约束项 采用L2范数损失。 6.一种车载视觉实时多目标航向角估计装置，其特征在于，包括：深度卷积神经网络特征编码器，其为离线数据集事先训练好的单阶段二维目标检测模型YOLOv3，用于提取输入的单目单帧图像的深度卷积神经网络特征图；目标定位和层级分类模块，其用于在所述深度卷积神经网络特征图上进行二维目标的优化定位，并对车辆、行人和骑车人三类交通道路参与者多目标进行分类优化，输出目标框所对应目标的二维位置和类别；观测估计模块，其用于根据所述深度卷积神经网络特征图、以及目标的二维位置和类别，通过直接回归该目标的连续观测角度α，分别得到观测角度α的正弦值sinα和余弦值cosα，考虑角度的周期性同时平方和约束正弦值sinα和余弦值cosα，最终获得目标相对自车的观测角度α的唯一确定值，目标相对自车的观测角度α为目标的运动方向 与横轴x’的正方向之间的夹角，x’轴在水平面内与z’轴相垂直，正方向为自车前进方向的右侧方向；z’轴是自车的几何中心O与目标的几何中心O’之间的连线，正方向为自车指向目标的方向；航向角计算模块，其用于根据所述观测角度α，利用下式(1)计算得到目标的航向角 式(1)中，x 3d 为目标框在世界坐标系中的横向位置，z 3d 为目标框在世界坐标系中的纵向位置。 7.如权利要求6所述的车载视觉实时多目标航向角估计装置，其特征在于，所述目标定位和层级分类模块具体包括：初选子模块，其用于根据所述深度卷积神经网络特征图，获得每一个真实目标附近同时检测出的多个可能目标框；定位优化子模块，其用于根据每一个所述可能目标框与基准目标框的重叠率，从每一个真实目标的多个可能目标框中筛选出重叠率最高的目标框，作为对应目标的最终目标框，并依据最终目标框所对应的目标定位信息，该目标定位信息包括目标的二维位置；层级分类子模块，其用于根据所述最终目标框对应的目标定位信息中的置信度，采用层级分类策略预测目标所属大类和小类的条件概率，通过将该置信度、所属大类的条件概率和小类的条件概率相乘获得的乘积，作为目标所属小类的绝对概率。 8.如权利要求7所述的车载视觉实时多目标航向角估计装置，其特征在于，采用层级分类策略预测目标所属大类的方法包括：步骤21，根据所述的深度卷积神经网络特征图和目标定位信息中的最终目标框的几何中心在图像坐标系中的横纵坐标位置和置信度，该置信度为第一层动态目标节点的绝对概率Pr(Object)，辨识该目标框所对应的目标是否属于车辆、行人和骑车人三类动态目标(Object)，如果是，则将该目标框以外的图像部分视为背景；步骤22，在动态目标(Object)中合并类间差距小的目标类别，并辨识出合并后得到目标类别是否属于人(Person)大类或车辆(Car)大类，并输出第二层目标的条件概率，其中，如果辨识结果属于人(Person)大类，则第二层目标的条件概率为人节点的条件概率Pr(Person|Object)；如果辨识结果属于车辆(Car)类，则所述第二层目标的条件概率为车节点的条件概率Pr(Car|Object)。 9.如权利要求7所述的车载视觉实时多目标航向角估计装置，其特征在于，步骤22获得二层目标的条件概率为人节点的条件概率Pr(Person|Object)的情形下，采用层级分类策略预测目标所属小类的方法包括：步骤23，在人(Person)大类下辨识目标类别是否属于行人(Pedestrian)小类或骑车人(Cyclist)小类，并输出第三层目标的条件概率，该第三层目标的条件概率包括行人节点的条件概率Pr(Pedestrian|Person)和骑车人节点的条件概率Pr(Cyclist|Person)；步骤24，根据步骤21提供的第一层的绝对概率Pr(Object)、步骤22输出第二层目标的条件概率Pr(Person|Object)和步骤23输出的第三层目标的条件概率，利用下式(2)计算第三层的行人(Pedestrian)小类对应的绝对概率Pr(Cyclist)，利用公式(3)计算第三层的骑车人(Cyclist)小类对应的绝对概率Pr(Pedestrian)；步骤25，比较步骤24计算得到的行人(Pedestrian)小类对应的绝对概率Pr(Cyclist)和骑车人(Cyclist)小类对应的绝对概率Pr(Pedestrian)，如果Pr(Cyclist)大于Pr(Pedestrian)，则最终目标框所对应的目标所属类别为骑车人(Cyclist)小类；如果Pr(Cyclist)小于Pr(Pedestrian)，则最终目标框所对应的目标所属类别为行人(Pedestrian)小类。 10.如权利要求6至9中任一项所述的车载视觉实时多目标航向角估计装置，其特征在于，所述观测估计模块中平方和约束正弦值sinα和余弦值cosα具体包括：步骤31，设计下式(6)表示的观测估计子任务分支总的损失函数：式(6)中，L α (Θ)为训练集中所有目标观测估计的损失函数ψ k (Θ)的平均值，Θ为模型需要学习的参数，下标k为目标框的标号，为整数，取值范围为0～N，N是训练样本中所有目标框的数量；观测估计子任务分支训练的目的是通过训练样本的学习使总的损失函数L α (Θ)最小化，当L α (Θ)最小化时对应的Θ，即为学习到的模型参数，为模型的输出；步骤32，训练集中所有目标观测估计的损失函数的平均值ψ k (Θ)包括正弦值 余弦值 和角度平方和约束 三部分，设计如下：式(7)中， 是第k个目标框的观测角的正弦估计值， 是第k个目标框的观测角的余弦估计值，sinα * 是第k个目标框的观测角的正弦真实值，cosα * 是第k个目标框的观测角的余弦真实值，正弦值 和余弦值 采用L1范数损失，角度平方和约束项 采用L2范数损失。