有效
一种道路区域检测方法
李克强、熊辉、余大蒙、王建强、许庆
清华大学
专利价值洞察
基于大模型深度解析专利商业价值
解决问题
如何准确检测道路区域
达成效果
实现道路区域的高精度像素级分割和多类型分类
主要用途
应用于智能车辆的可通行区域检测、避障和路径规划
摘要
本发明公开了一种道路区域检测方法,该方法包括:S1,设计道路数据增强方法,生成道路数据增强函数;S2,采用道路数据增强函数,输入训练样本,输出增强道路数据;S3,设计并训练生成特征编码网络模型,利用增强道路数据,通过特征编码网络模型,输出编码特征图;S4,设计并训练生成道路分割解码模块和道路类型分类解码模块,采用道路分割解码模块和道路类型分类解码模块,通过输入编码特征图,能够输出道路分割结果和道路类型分类结果。本发明提供道路区域像素级分割和多类型分类结果,可用于智能车辆的可通行区域检测,也可为智能车辆的避障和路径规划提供依据。
1.一种道路区域检测方法,其特征在于,包括:S1,设计道路数据增强方法,并生成道路数据增强函数;其中,道路数据增强方法具体包括像素值变化和图像扭曲变换;S2,采用S1生成的所述道路数据增强函数,输入训练样本,输出增强道路数据,所述增强道路数据包括大小相同的所述训练样本和增强后的样本;其中,所述训练样本包括原始道路RGB图像和与该原始道路RGB图像相对应的真值标注二值化图像;S3,设计并训练生成特征编码网络模型,利用S2得到的所述增强道路数据,通过所述特征编码网络模型,输出编码特征图;S4,设计并训练生成多任务解码网络模型,所述多任务解码网络模型包括道路分割解码模块和道路类型分类解码模块,其中,所述道路分割解码模块对应的优化损失函数为道路分割损失函数L seg (θ seg );所述道路类型分类解码模块对应的优化损失函数为道路类型分类损失函数L cls (θ cls ),组成总的损失函数L(Θ);采用所述道路分割解码模块,通过输入S3得到的所述编码特征图,能够输出道路分割结果;采用所述道路类型分类解码模块,通过输入S3得到的所述编码特征图,能够输出道路类型分类结果;S4包括:S41,设计所述道路分割解码模块,所述道路分割解码模块包括第一1×1卷积通道压缩层,原始图像输入到所述第一1×1卷积通道压缩层,并先后依序通过上采样层、第一1×1卷积分类层和第一softmax层,并经由类别合并后输出;S42,采用所述道路分割解码模块,通过输入S3得到的所述编码特征图输出道路分割结果,所述道路分割结果包括带有道路和背景两类分割结果的RGB图像,该图像中所有像素点中,道路区域标为第一种颜色,背景区域的颜色与所述原始图像相同,S42具体包括:S421,通过所述第一1×1卷积通道压缩层,压缩S32输出的所述H/8×W/8×2048,并输出H/8×W/8×128的多通道特征图;S422,通过所述上采样层利用无参数学习的双线性插值法进行上采样,将所述H/8×W/8×128的多通道特征图采样至S2得到的所述增强道路数据的大小,并输出H×W×128的多通道特征图;S423,先后依序通过所述第一1×1卷积分类层和第一softmax层,得到道路内部像素P in 、道路边缘像素P bd 、背景内部像素N in 和背景边缘像素N bd 的概率,并输出H×W×4的多通道特征图;以及S424,合并边缘像素和内部像素的类别,得到所述道路分割结果,表示为H×W×2的二通道特征图,即道路分割像素类别得分图;H和W分别为相应图像的高和宽。
2.如权利要求1所述的道路区域检测方法,其特征在于,S2中的所述道路数据增强函数对所述训练样本的处理过程包括:根据所述训练样本,在所述真值标注二值化图像的轮廓中,随机取出若干轮廓点作为扭曲变形的控制点,对所述原始道路RGB图像和其对应的真值标注二值化图像进行小幅扭曲图像变换,改变道路原有的几何形状。
3.如权利要求1所述的道路区域检测方法,其特征在于,S3中的特征编码网络模型的设计过程包括:S31,采用带有混合空洞卷积的全卷积深度残差网络ResNet作为共享的编码网络,其编码网络包括5个卷积层conv和1个最大池化层,conv_i表示网络中的第i阶段卷积,其中,conv_1阶段采用3层连续的3x3的卷积核,conv_2、conv_3阶段分别含有3个和4个ResNet中普通的瓶颈模块,conv_4阶段中的6个瓶颈模块采用空洞大小分别为1,2,5,9,2和2的混合空洞卷积核,conv_5阶段中的3个瓶颈模块采用空洞大小分别为5,9,17的混合空洞卷积核;原始图像输入到conv_1,并先后依序通过所述最大池化层、conv_2、conv_3和conv_4,并经由conv_5后输出;S3中的特征编码网络模型的训练生成过程包括:S32,采用S31设计好的所述特征编码网络模型,输入S2得到的所述增强道路数据,通过所述特征编码网络模型图像特征提取学习,输出所述编码特征图,所述编码特征图表示为H/8×W/8×204。
4.如权利要求1所述的道路区域检测方法,其特征在于,S4中的所述道路分割损失函数L seg (θ seg )表示为式(1):L seg (θ seg )=L in (θ seg )+αL bd (θ seg ) (1)式(1)中,θ seg 表示所述道路分割解码模块的学习参数,L in (θ seg )表示道路内部和边缘的损失函数项,L bd (θ seg )表示道路边缘和背景边缘的损失函数项,如下式(2):式(2)中,GT x,y 表示所述原始道路RGB图像中像素(x,y)的真值标签,PR x,y (θ seg )表示在参数θ seg 下,像素(x,y)的预测标签,损失函数采用交叉熵损失函数,如式(3)所示:式(3)中,N表示训练样本的数量,C表示类别个数, 表示像素i的真实类别j,y ij 表示道路分割解码模块前向推导出的i属于该类的概率。
5.如权利要求4所述的道路区域检测方法,其特征在于,S4还包括:S43,采用所述道路分割损失函数L seg (θ seg )训练生成所述道路分割解码模块的过程包括:S431,根据道路和非道路两类,将S2中的所述增强道路数据中的所有像素二划分,生成二值化标注的图像;S432,将S431输出的图像中的像素进行四划分,获取二划分的二值标注图像中的连通域边界;其中:对于连通域边界上的每一个像素点,以其为圆心,半径为k的圆包含的像素中,将所述原始道路RGB图像中像素(x,y)的真值标签为道路类别的像素变更为道路边缘像素P bd 类别,原始标注为背景类别的像素变更为背景边缘像素N bd 类别;对于其它未包含在任意圆内的像素,将原始标注中的道路类别变更为道路内部像素P in ,原始标注中的背景类别变更为背景内部像素N in 。
6.如权利要求1所述的道路区域检测方法,其特征在于,S4还包括:S44,设计道路类型分类解码模块,所述道路类型分类解码模块包括第二1×1卷积通道压缩层,原始图像输入到所述第二1×1卷积通道压缩层,并先后依序通过下采样层、全局平均池化层和第二1×1卷积分类层,并经由第二softmax层后输出;S45,采用所述道路类型分类解码模块,通过输入S3得到的所述编码特征图输出道路类型分类结果,所述道路类型分类结果为每张S2中的所述训练样本属于三种城市道路类型{uu,um,umm}中某一道路类型的概率,表示为1×1×3的向量,uu为城市无车道线,um为城市单车道,umm为城市多车道,S45其具体包括:S451,通过所述第二1×1卷积通道压缩层,压缩S32输出的所述H/8×W/8×2048,并输出H/8×W/8×64的多通道特征图;S452,通过下采样层利用双线性下采样,降低S451压缩后的编码特征图的尺寸,并输出H/32×W/32×64的多通道特征图;S453,采用所述全局平均池化层,输入H/32×W/32×64的多通道特征图,输出用于分类的1×1×64的列向量形式的特征图;S454,将S453输出的1×1×64的列向量形式的特征图先后依序通过第二1×1卷积分类层和第二softmax层,输出所述道路类型分类结果。
7.如权利要求6所述的道路区域检测方法,其特征在于,S4中的所述道路类型分类损失函数L cls (θ cls )采用L seg 函数中使用的交叉熵损失函数(3),多任务解码模型的总体损失函数为:L(Θ)=L seg (θ seg )+βL cls (θ cls ) (4)式(4)中,权重系数β用于调整道路分割和道路场景分类两个子任务的损失权重,L(Θ)用于学习各类网络层的权值W和偏值B;S4还包括:S46,采用所述道路类型分类损失函数L cls (θ cls )训练生成所述道路类型分类解码模块的过程。



