基于病害图像采集、分割的道面质量分析方法、装置及程序

1.一种基于病害图像采集、分割的道面质量分析方法，其特征在于：包括以下步骤：S1：汽车启动，运行汽车向前驾驶；S2：汽车车轮带动轮速编码器，触发工业相机采集路面图像数据，同时，卫星定位导航系统获取汽车所在经纬度定位信息，进而将路面图像数据与定位信息进行一一对应；S3：车内工控机使用路面病害分割模型，对路面图像进行路面病害实时检测，其中，路面病害分割模型为大型卷积U型网络结构；S4：使用三阶段训练方式进行路面病害分割模型的训练，分别为基于掩码预测的自监督预训练、面向超大规模沥青道路数据的监督预训练以及面向混凝土路面的监督训练；所述步骤S4具体包括：子步骤S41，对于基于掩码预测的自监督预训练，使用图像修补作为模型的自监督预训练代理任务，针对全卷积编码器和全卷积解码器构建自监督预训练框架，随机掩盖60%的像素，模型输出原始没有掩盖的图像，进而提高预训练模型对于图像的表达能力和收敛速度；在模型编码器阶段，为了提高模型预测难度，避免跳跃连接产生额外的辅助信息，采用稀疏卷积操作来进行特征提取，即进行卷积操作时，仅对掩码部分区域进行卷积操作以及梯度反传更新模型权重，而在模型解码器部分，则使用正常的卷积操作，以保证细节特征的学习优化；同时对编码器和解码器进行针对性的预训练，能够有效增强模型对于语义信息和细节信息的同步优化；其中，所述自监督为：不需要通过人工标注标签的形式，对网络模型进行监督学习，以达到增强模型预训练表达能力，通过预训练提升模型表达能力，从而促进模型在下游任务的性能；其中，所述图像修补为：随机将一部分元素的RGB像素值转化成(0,0,0)，然后通过网络模型预测原始的RGB值，具体的公式为： ，其中 是随机将一部分元素的RGB像素值转化成(0,0,0)后的图像， 是随机图像， 是随机掩码函数，随机分布为均值随机分布， ，f为网络模型，即大型卷积核U型网络结构；其中，编码器指的是U型网络结构下采样部分；解码器指的是U型网络结构上采样部分；卷积的时候仅对 非0部分进行卷积，其他0部分无需进行卷积；子步骤S42，使用已公开的百万级别的沥青道路数据集进行第二阶段的模型预训练，并采用多卷积分支结构作为大型卷积核U型网络结构的基本操作单元，其中 卷积核采用第一阶段预训练的权重，另外三个 ， ， 卷积核采用常数初始化，并初始化为0，超分辨率解码器采用随机初始化，基于ResNet-101和ViT-Large的编码器采用ImageNet预训练的权重，其中原始图像被缩小一半分辨率输入到模型中进行第二阶段预训练，超分辨率分支用于增强U型网络结构编码器的细节超分辨率特征，并使用均方误差损失函数作为监督函数，如下：其中，H为未经缩小的原始图像分辨率的行数，W为原始图像分辨率的列数， 为预测的超分辨率图像结果， 为未经缩小的原始图像；此外，使用多个模型编码器进行特征一致性学习，保证大型卷积核U型网络结构能够与局部特征的ResNet-101模型和全局特征的ViT-Large模型保持特征一致性，三个分支使用相同的损失函数，如下： + + + 其中， 为第i个网络的交叉熵损失，保证预测结果和标签分布一致， 为第i个网络的focal损失，保证瑕疵的检出， 为第i个网络的dice损失，保证瑕疵的预测准确率， 为第i个网络的ssim损失，保证预测结果和标签的结构相似性， 为第i个网络的边缘损失，对预测结果和标签计算方向梯度，保证边缘梯度一致性；此外，还对三个分支的特征进行特征一致性约束，如下：其中， 为局部特征一致性约束， 为全局特征一致性约束， 为大型卷积核U型网络结构预测结果， 为ResNet结构预测结果， 为ViT结构预测结果，实现不同分支的特征预测一致性，从而增强大型卷积核U型网络结构的预测准确率，最终，第二阶段预训练的损失函数为： + + + + 子步骤S43，实现目标域数据的正式训练，即面向混凝土路面的监督训练，采用多模型多任务并联的结构进行第二阶段的预训练，并采用多卷积分支结构作为大型卷积核U型网络结构的基本操作单元，其中多卷积分支结构的所有卷积分支权重采用第二阶段预训练的权重，第三阶段也采用 作为损失函数进行梯度更新；S5：使用重参数化技术对大型卷积核U型网络结构进行部署和推理，得到整体道面缺陷检测结果，在不损失预测精度的同时降低计算复杂度；S6:根据检测结果计算道面状况指数PCI；S7:自动生成道面分析报告，提供道面维修建议。 2.根据权利要求1所述的一种基于病害图像采集、分割的道面质量分析方法，其特征在于：在所述步骤S1中，开启汽车开关，保证汽车车轮运动，带动汽车轮速编码器运动。 3.根据权利要求2所述的一种基于病害图像采集、分割的道面质量分析方法，其特征在于：在所述步骤S2中，汽车车轮运动，带动轮速编码器运动，轮速编码器触发工业相机采集路面图像数据；工业相机成像系统由工业高亮线光源和工业线阵相机组成，工业高亮线光源对路面进行补光，工业线阵相机对路面进行逐行扫描拼接成像；同时，卫星定位导航系统根据基站位置获取汽车所在经纬度的定位信息和前进方向，进而将路面图像数据与定位信息进行一一对应。 4.根据权利要求3所述的一种基于病害图像采集、分割的道面质量分析方法，其特征在于：所述步骤S2还包括子步骤S21至子步骤S24；子步骤S21，轮速编码器安装于汽车任一车轮上获取车轮速度，轮速编码器转动触发工业相机采集路面图像数据，工业高亮线光源对路面进行补光，提高路面图像的成像质量；子步骤S22，提前在汽车运行场地附近架设好定位基站，作为定位模块的参考基站，卫星定位导航系统根据基站信号以及基站经纬度获取汽车所在经纬度定位信息，卫星定位导航模块选用高精度定位定向RTK-GNSS模块，可在星况良好的环境下提供厘米级定位精度，并支持双天线，可通过双天线的位置差异解算出航向角，该卫星定位导航模块还支持北斗三号导航系统的B2b频段，即支持包括北斗三号新信号体制在内的全星座全频点 GNSS 信号接收，可在最大程度上实现高精度定位数据解算；考虑到实际使用过程中部分场地的隐秘性，使用自建的RTK卫星基准站作为定位解算的参考站，从而保证整个定位系统无需向外发送数据即可解算位置，相关位置数据均在自建的系统内部传输，保证了数据的安全性；同时，该模块在出厂时配置为仅使用北斗卫星定位系统信号，可实现安全高效的高精度卫星定位导航；子步骤S23，将路面图像数据与定位信息进行逐行一一对应，用于后续的路面病害定位；子步骤S24，对车内工业相机进行单目相机标定，将图像坐标系与工业相机坐标系建立转换方程。 5.根据权利要求4所述的一种基于病害图像采集、分割的道面质量分析方法，其特征在于：所述子步骤S24具体包括：子步骤S241，单目相机进行内参标定，采用经典的张正友相机内参标定方法，采集13张不同的位置和角度的标定板图像进行单目相机内参标定，获取单目相机的参数矩阵和畸变参数；子步骤S242，单目相机进行手眼标定，将标定板与车体前进方向平行放置，并与车体的行进方向中心线重合，单目相机拍摄一副标定板图像进行手眼标定，从而得到图像坐标系和相机坐标系的对应关系，进一步与子步骤S22中定位模块的经纬度结合，可以获得图像坐标系与世界坐标系之间的对应关系。 6. 根据权利要求5所述的一种基于病害图像采集、分割的道面质量分析方法，其特征在于，所述子步骤S241具体为：子步骤S2411，单目相机参数确定将单目相机等价为小孔成像模型，将现实世界中的点到成像平面的过程解构为坐标变换过程；建立相机坐标系、图像物理坐标系和像素坐标系，物理世界中的点P在相机坐标系坐标为[X,Y,Z]，经过相机的光心O，投影到相机物理成像平面，变为点P’[X’,Y’,Z’]；利用三角形的相似关系，得到相机坐标系到像素坐标系的线性对应关系，通过该对应关系，确定图像物理坐标系与像素坐标系之间的参数对应关系，通过一个参数矩阵A表示；相机坐标系的坐标原点为相机的光心O位置，相机坐标系的X轴和Y 轴分别平行于图像物理坐标系的X’轴和Y’轴，Z轴为相机的光轴；图像物理坐标系的坐标原点为图像传感器平面的中心，X’轴和Y’轴分别平行于图像平面的两条垂直边；图像物理坐标系中用物理单位毫米表示像素在图像中的位置；像素坐标系的坐标原点为图像平面的右上角顶点，像素坐标系的u轴和v轴分别平行于图像物理坐标系的X’轴和Y’轴，像素坐标系中的像素为位置表示单位；推导过程如下：点P和P’的三角相似关系为：其中 为焦距；则 图像坐标系和像素坐标系的区别为坐标原点位置不同和度量单位不同，因此在两个坐标系的度量上相差了一个原点的平移和一个缩放，转换关系为：其中 为图像坐标系相对于像素坐标系在 轴上的缩放倍数， 为在 轴上的缩放倍数， 为图像坐标系相对于像素坐标系在 轴上的平移距离， 为在 轴上的平移距离；整理公式（1）和（3），可得把 合并为 、 合并为 ，可得其中 ， 的单位为像素；将相机坐标系中的物理世界点P，到像素坐标系P’点之间的坐标转换关系转换为矩阵形式，即整理（5）成矩阵形式： ,可得相机参数矩阵A为 子步骤S2422，畸变参数确定成像过程中，需要对成像图像进行一个畸变校正；对于径向畸变，会考虑归一化平面的任意一点进行校正，公式如下：其中 ， ， 为径向畸变多项式的系数， = 切向畸变同理：其中 ， 为切向畸变的多项式的系数， = 联合公式（6）和（7）：将畸变后的点通过内参矩阵投影到像素平面，得到该点在图像上的正确位置： （9）最终得到相机参数矩阵 ，畸变参数 ；子步骤S2423，标定鉴于目前相机安装精度较高，径向畸变为主要影响因素，综合考虑精度和成本因素，采用经典的张正友相机内参标定方法，采集13张不同的位置和角度的标定板图像进行单目相机参数矩阵A和径向畸变参数 的求解。 7.根据权利要求5所述的一种基于病害图像采集、分割的道面质量分析方法，其特征在于：在所述步骤S3中，车内工控机对路面图像进行实时病害检测，路面病害分割模型使用基于大型卷积核U型网络结构进行高精度的路面病害分割，包括U型网络结构和U型网络参数表格，对路面图像进行实时逐像素的分类，即实时图像语义分割；所述U型网络结构包含了一个编码器和一个解码器，U型网络结构的每一层操作包含了一个大型卷积操作、BN操作和ReLU操作，下采样操作采用的是MaxPool操作，上采样采用双线性插值操作，并且在上采样时使用编码器特征与解码器特征拼接的方式恢复细节特征信息。 8.根据权利要求7所述的一种基于病害图像采集、分割的道面质量分析方法，其特征在于：为了能够达到实时的图像分割效果，在所述步骤S3中，U型网络结构为小通道数的U型网络结构，用以降低计算量，以达到高精度和高效率的折中优化；该小通道数的U型网络结构卷积参数表示形式采用的是“输入通道数×输出通道数×卷积核纵向大小×卷积核横向大小”，跨度均为1，扩展比率均为1，使用的时候根据每一层网络的通道数设置卷积核的通道数，卷积核的大小就是卷积的窗口大小。 9.根据权利要求1所述的一种基于病害图像采集、分割的道面质量分析方法，其特征在于：在所述步骤S4中，基于掩码预测的自监督预训练同时对编码器和解码器进行针对性的预训练，能够有效增强模型对于语义信息和细节信息的同步优化；面向超大规模沥青道路数据的监督预训练采用多模型多任务并联的结构进行多任务蒸馏学习、多结构特征一致性学习，保证模型对于大规模路面病害的识别准确率；面向混凝土路面的监督训练使用多模型多任务并联的结构，在目标域数据集上进行正式训练，保证模型对于混凝土道面病害的识别准确率。 10.根据权利要求9所述的一种基于病害图像采集、分割的道面质量分析方法，其特征在于：在所述步骤S5中，对模型进行部署和推理，仅保留大型卷积核U型网络结构的编码器进行特征提取，大型卷积核U型网络结构的解码器进行图像语义分割预测，其中每一个多卷积分支操作进行重参数化。 11. 根据权利要求10所述的一种基于病害图像采集、分割的道面质量分析方法，其特征在于：所述步骤S5具体为：将多个卷积分支合并，小卷积核融合进大卷积核中，如下： + + 其中， 为重参数化以后的卷积核参数， 为 卷积核， 为 卷积核， 为 卷积核， 为 卷积核，重参数化后，大型卷积核U型网络结构能够在不损失预测精度的同时大幅降低计算复杂度，在模型推理时，从相机读取路面图像，进行逐像素的图像语义分割，预测道面病害状况。 12.根据权利要求11所述的一种基于病害图像采集、分割的道面质量分析方法，其特征在于：在所述步骤S6中，参照标准文件：中华人民共和国行业标准MH/T 5024-2019《民用机场道面评价技术管理规范》和整体道面缺陷检测结果，计算道面状况指数PCI，如下：其中， 为各个道面规定区域的PCI， 为各规定区域的面积，单位为m 2 ，n为所辖规定区域的数量。 13.根据权利要求12所述的一种基于病害图像采集、分割的道面质量分析方法，其特征在于：在所述步骤S7中，根据预测的道面病害状况、道面状况指数PCI，自动生成道面分析报告，提供道面维修建议。 14.一种基于病害图像采集、分割的道面质量分析系统，包括处理器，所述处理器用于实现权利要求1-13任一项所述基于病害图像采集、分割的道面质量分析方法。