一种用于无人驾驶的车道保持能力检测系统及方法

1.一种用于无人驾驶的车道保持能力的检测方法，其特征在于，所述检测方法基于用于无人驾驶的车道保持能力检测系统，所述检测系统包括身份辨识模块、前向摄像头、车辆信息采集模块、图像处理模块、存储模块、传输模块及云端数据库；身份辨识模块用于采集标识车辆的信息，包括车辆ID，获取后保存在存储模块；车辆信息采集模块用于获取车辆GPS坐标、车辆实时行进速度及转向灯状态，所获取的数据保存在存储模块；GPS为全球定位系统；前向摄像头固定在后视镜附近，用于获取车辆前方道路场景图像；前向摄像头所拍摄的图像传输至图像处理模块；图像处理模块用于识别前向摄像头所摄道路场景图像中结构化道路的车道线，包括白色虚实线、黄色虚实线、双白虚实线以及双黄虚实线，并根据识别的车道线计算车道偏离距离和偏离角度；图像处理模块还识别用于指示行车区域的突起路标及轮廓标；存储模块中的数据通过传输模块传输至云端数据库；所述的云端数据库存储有设定长度里程下的无人驾驶车辆的车道保持数据，每组车道保持数据包括车道偏离距离、车道偏离角度、车辆实时速度和转向灯状态；首先根据转向灯状态将每组数据进行分类，若转向灯未开启，将该组数据划分为未变换车道部分，若转向灯开启，判断为正常转向，将该组数据划分为变换车道部分；分别对两部分数据计算车辆的车道保持平顺性和车道保持安全性的指标；其中，对未变换车道部分数据，选用车道偏离距离标准差作为反映车道保持平顺性的指标，车道偏离距离标准差越小，说明车辆车道保持水平越高；对变换车道部分数据，选用车道偏离角度标准差作为反映车道保持平顺性的指标，车道偏离角度标准差越小，说明车辆车道保持水平越高；所述的图像处理模块，计算车道偏离距离和偏离角度的方式是：单目摄像机在拍摄时，所有平行于摄像机光轴的直线均汇聚于消失点，设摄像头所捕捉图像的底部中心点距离左右车道线的距离分别为l l 、l r ，车道线宽度d line ，待测点和消失点的连线和摄像头光轴的夹角为φ，拟合获取关于车道线偏离距离、偏离夹角、车辆及摄像头的空间几何参数与夹角φ、距离l l 和l r 的三次曲线方程；然后在识别出图像中的车道线后，根据拟合的三次曲线方程计算车道偏离距离和偏离角度；所述检测方法包括如下步骤：S1：通过前向摄像头采集车辆前方道路图像，输入至图像处理模块；通过车辆信息采集模块同步采集车辆GPS坐标、车辆实时速度及车辆转向灯状态；S2：图像处理模块对接收到的车辆前方道路图像进行车道线检测、车道保持参数获取、计算获取车道偏离距离和偏离角度；S21：所述的车道线检测包括图像预处理、车道线特征提取和车道线拟合三个部分；S211：图像预处理在图像预处理阶段，首先通过逆透视变换矩阵将接收的透视图像转换为逆透视图像，生成道路图像的鸟瞰图，此时车道线表现为固定宽度的平行线，变换过程如下：在欧式空间中分别定义世界坐标系W(x,y,z)和图像坐标系I(u,v)，世界坐标系的y轴对应车辆的行驶方向，z轴对应车辆的垂直地面方向，图像坐标系中以拍摄的图像的左上角为原点垂直和水平方向建立u,v轴，逆透视过程将图像坐标系下的道路图像转化为世界坐标系W下的z＝0平面，前向摄像头安装位置的坐标为世界坐标系中的(w,l,h)，摄像头标定的参数为：γ是摄像头投射在z＝0平面的摄像机光轴o和y轴的夹角，θ是摄像头的光轴o偏离z＝0平面的夹角，2α是摄像头的水平和垂直视角，设R x 、R y 分别是图像序列的水平分辨率和垂直分辨率，则对于输入图像帧内的任意像素(x,y)，通过下式建立与逆透视变换图像对应的像素坐标(u,v)；采用二维可分高斯滤波器对逆透视图像进行平滑处理，二维可分高斯滤波器分为水平高斯核和垂直高斯核，在水平方向上，采用高斯滤波器的二阶导数，将水平高斯核的大小设置为原始逆透视图像中标定的车道的宽度，同时在垂直方向上采用平滑高斯滤波器，根据原始逆透视图像中标定的虚线高度设置滤波器垂直高斯核的大小，利用canny算子得到边缘图像；S212：车道线特征提取图像预处理后得到粗略的车道线边缘信息，使用LSD检测、自适应线性聚类和局部灰度值最大级联空间相关滤波器的方法对车道线特征进行提取；（1）首先采用LSD检测算法对边缘图像中的直线进行检测，实现快速准确地确定车道线的位置，LSD检测算法的实施步骤如下：为消除锯齿效应，使用高斯核采样缩小输入图像；计算每个像素点的梯度值及梯度方向；根据梯度值对所有像素点进行伪排序，对梯度方向相似的像素点进行区域扩散；计算每个扩散区域的最小外接矩形；若最小外接矩形中的像素的水平线角度与最小外接矩形的主方向的角度差小于设定阈值，则称该像素为同性点；如果最小外接矩形中同性点的密度超过设定阈值，则该最小外接矩形作为输出线段；（2）对LSD检测到的多条线段，使用自适应线性聚类算法对相邻线段进行聚类，同一车道线仅保留一条线段，自适应线性聚类算法的实施步骤如下：对线段排序：将检测到的线段l i 表示为l i :x＝k i *y+b i ,i＝1,…,n ,其中x ,y表示图像的坐标，k i ，b i 为线段的线性表示的参数，根据k i 的值判断两个线段是否平行，根据b i 的值获取两个线段之间的距离，所有线段根据b i 进行从小到大排序，n表示线段数量；生成一个容器bin，从第一个线段开始，将其作为候选车道线放入bin中，然后将距离在预先校准的车道宽度内的周围线段聚类到bin中，当b i 为车道宽度，k i 为设定阈值时，线段才可以聚类到集合bin中，一旦线段被聚集到一个bin中，删除这个线段并对其余线段进行聚类，直到没有可以再聚类的线段，之后创建一个新的bin并再次重复上述过程；更新每个bin中的直线函数：bin中的每个线段表示为x＝k m *y+b m (m＝1,…,p)，其中p为bin内线段的数量，然后将bin对应的直线函数的k更新为将参数b更新 将参数b更新为；（3）当路面损坏或前方出现车辆时，干扰线段增多，此时使用局部灰度值最大级联空间相关滤波算法，利用车道线的灰度值高于周围路面的颜色特征、彼此平行且宽度固定的空间特征来提取目标车道线，具体步骤如下：在子区域对检测到的线段进行延伸，并将其分划为左车道线和右车道线；计算每条延伸的左右车道线灰度值之和，并据此分别对左车道线和右车道线进行降序排列，灰度值的和最大的左车道线和右车道线最可能是目标车道线；计算两个目标车道线之间的距离，检查是否满足预定义的车道宽度，如果是，则选择目标车道；反之检查下一个灰度值的和最大的线段，直到选择到目标车道线；S213：车道线拟合采用卡尔曼滤波对车道线的端点进行跟踪，进而对车道线进行跟踪，采用抛物线模型拟合车道线，将直线附近的提取点拟合到特定的曲线上；其中，(a l ,b l ,c l )和(a r ,b r ,c r )分别为平行抛物线左车道线和右车道线的参数，(x l ,y l )、(x r ,y r )分别表示抛物线上的点；分别对左、右车道线进行拟合，在拟合曲线之前，首先根据像素值选择控制点，经过卡尔曼滤波后，检测到的车道线仍为直线，在边缘图像中，每条线都有两条边界线；在检测到的直线上选择一系列的点，并向左右延伸两个像素点，然后从左到右检查所选点附近的四个扩展像素的值，边缘图像中白色像素点的值为1，黑色像素点的值为0，若扩展像素的值为1，则选为控制点；若有多个值为1的像素，计算中心位置作为控制点；若没有值为1的像素，选择直线上所选的点作为控制点；确定控制点后，使用鲁棒回归算法RANSAC将控制点拟合到抛物线模型中，得到控制点的最优系数，所述控制点拟合的具体步骤如下：（1）从左侧车道随机选取三个控制点，得到左侧抛物线车道模型的系数a l 、b l 、c l ，建立左侧抛物线车道模型；（2）计算各控制点到左抛物线的距离，将距离小于设置的阈值T 1 的控制点视为内点，并统计内点数量；（3）如果内点大于设置阈值T 2 ，则根据系数a l 、b l 、c l 得到一个候选车道线模型；（4）重复上述步骤（1）～（3），选择内点最多的候选车道线模型作为最终的左车道线模型；右车道模型拟合与左车道模型拟合相似；S22：车道保持参数的获取车道保持参数包括偏离角与偏离距离，其中偏离距离为车辆质心与车道中心线之间的距离，偏离角为车辆与车道中心线的偏角，即车辆航向与车道中心线之间的夹角，车道线保持参数基于机器视觉，结合摄像头安装位置及角度等信息计算得出；S23：计算获取车道偏离距离和偏离角度单目摄像机在拍摄时，所有平行于摄像机光轴的直线均汇聚于消失点，l l 、l r 分别为摄像头所捕捉图像的底部中心点距离左右车道线的距离，d line 为车道线宽度，待测点和消失点的连线和光轴的夹角记为φ，φ与横向距离具有很强的相关性，据此拟合得到关于车道线偏离距离、偏离夹角，车辆及摄像头的空间几何参数与夹角φ、l l 、l r 的三次曲线方程；采用所述拟合得到的曲线方程与摄像头及车身的空间位置关系计算针对车道线偏离距离和偏离夹角，具体步骤如下：S231：结合车道线检测结果，获取图像中车道线下边缘点的位置坐标；S232：在欧氏空间中分别定义世界坐标系W(x ,y ,z)和图像坐标系I(u ,v)，将图像坐标系I下的道路图像转化为世界坐标系W下的z＝0平面；S233：输入前向摄像头的内外参、安装位置及角度，将图像下边缘点坐标代入拟合得到的三次曲线方程中，计算车辆到左右车道线的横向距离l l 和l r ，摄像头的内参指内参矩阵和畸变参数矩阵，摄像头的外参指旋转矩阵和平移矩阵；S234：输入车辆立体几何参数，及车辆质心C g 其与前向摄像头C a 的相对位置关系(w c ,l c ,h c )，根据l l 、l r 、车道线宽度d line ，计算车辆质心到左右车道线的距离d l 和d r ，即车道偏离距离，同时计算偏离角度；S3：通过传输模块将车辆ID、车道偏离距离、车道偏离角度、车辆实时速度、转向灯状态以及车辆GPS坐标传输至云端数据库；S4：根据云端数据库数据，对无人驾驶车辆车道保持能力进行评估，无人驾驶车辆的车道保持能力从安全性及平顺性两个维度进行评价：S41：首先采集车道保持数据：统计一定里程下特定无人驾驶车辆的车道偏离距离、车道偏离角度、车辆速度、转向灯状态；S42：根据车辆的转向灯状态，将数据进行分类，分类依据如下：S421：若转向灯未开启，将该组车道保持数据划分为未变换车道部分；S422：若转向灯开启，则判断为正常转向，将该组车道保持数据划分为变换车道部分；S43：对未变换车道部分数据和变换车道部分数据分别进行分析；S431：对未变换车道部分数据分析：未变换车道部分数据记录车辆执行驾驶直线、曲线驾驶任务时的车道保持数据，此处计算两项指标：车道保持平顺性的指标、车道保持安全性的指标：（1）车道保持平顺性的指标的度量方法选用车道偏离距离标准差σ d 作为反映车辆车道保持平顺性的指标，假设一定里程内共包含N d 个采样点，其车道偏离距离依次为d 1 ,d 2 ,...,d Nd ，其平均值为μ d ，则σ d 为： ；根据标准差定义可知，σ d 越小，表明车辆行进越平稳顺畅，说明车辆车道保持水平越高；（2）车道保持安全性的指标的度量方法为车辆划分不同的速度区间，并给出不同速度区间内的车道偏离距离安全阈值，据此统计车道偏离距离超过偏离阈值的比例，并做单位归一化处理；S432：对变换车道部分数据分析：变换车道部分数据记录车辆执行换道、超车的驾驶任务时的车道保持数据，此处计算两项指标：车道保持平顺性的指标、车道保持安全性的指标：（1）车道保持平顺性的指标的度量方法选用车道偏离角度标准差σ c 作为反映车辆车道保持平顺性的指标，假设一定里程内共包含N c 个采样点，每组车道偏离角度与上一组车道偏离角度的差值依次为c 1 ,c 2 ,...,c Nc ，其平均值为μ c ，则σ c 为： ；根据标准差定义可知，σ c 越小，表明车辆变换车道越平稳顺畅，说明车辆车道保持水平越高；（2）车道保持安全性的指标的度量方法为车辆划分不同的速度区间，并给出不同速度区间内的车道偏离角度变化值的安全阈值，据此统计车道偏离角度变化值超过偏离阈值的比例，并做单位归一化处理。