1.一种基于相似一致性自蒸馏的无人机巡检缺陷分类方法,其特征在于,包括如下步骤:步骤1)获取大坝立体巡检过程中的缺陷图像,采集混凝土表面不同类型的缺陷图像,进行图像预处理,对缺陷图像进行分类标注,构建缺陷分类专用数据集;步骤2)将ResNet-32作为基准网络,利用软注意力机制,将三维特征图在特征维度上压平,获取图像的特征权值分布,形成二维注意力图,利用欧拉距离计算注意力图之间的相关性,得到相似矩阵,作为自蒸馏缺陷图像分类模型中基于相似一致性知识构建部分,获取相似一致性知识;步骤3)将步骤2)中得到的相似矩阵在自蒸馏缺陷图像分类模型层间逐层传递,作为自蒸馏缺陷图像分类模型中相似一致性知识传递部分,得到相似一致性损失,表示相似一致性知识监督,联合真实标签监督,修正自蒸馏缺陷图像分类模型的训练方向;所述相似一致性损失具体如下:其中,M i 是第i个ResBlock输出得到的相似矩阵;步骤4)将步骤2)中的基于相似一致性知识构建部分与步骤3)中的相似一致性知识传递部分结合,构建自蒸馏缺陷图像分类模型;步骤5)将构建的缺陷分类专用数据集中的缺陷图像数据输入到构建的自蒸馏缺陷图像分类模型,训练自蒸馏缺陷图像分类模型,并进行精度测试;步骤6)将训练好的自蒸馏缺陷图像分类模型迁移到应用设备上,基于应用设备实时采集图像,实现在线缺陷图像分类;步骤2)具体包含以下步骤:2-1)采用残差网络ResNet-32作为基准网络,将单个缺陷图像输入,在经过每个ResBlock卷积操作后,生成三维特征图,利用软注意力机制,将三维特征图在通道上压平,获取图像的特征权值分布,得到单个图像输入在经过每个ResBlock处理后输出的二维注意力图,具体如下:其中, 为神经网络某一层及其对应的激活张量,H×W代表张量的高和宽,C代表张量的个数,即卷积核的个数;基于激活张量的映射函数将上述三维激活张量作为输入,输出一个二维空间注意力图,即三维激活张量在空间维度上压缩为一个平坦的二维向量;获取二维注意力图的过程为:隐含的假设是一个神经元激活的绝对值可以表示激活的重要性,为了得到张量A中元素在通道维度C上的绝对值统计量,使用通道C的绝对值的p次幂之和,具体如下:其中,A i =A(i,:,:),最大值、幂和绝对值运算是按照元素计算的,A i 是三维空间矩阵的第i个平面;2-2)网络模型不同层次聚焦注意力图的不同区域,获得不同的特征表达,当Mini-batch大小为b时,每个ResBlock会输出b个尺寸相同的注意力图;2-3)利用欧拉距离,计算同一层次Mini-batch内注意力图的相似性,将大小为b的Mini-batch输入到网络模型ResNet-32中,经过第i个ResBlock卷积操作后生成三维特征图为 其中b是batch size大小,c i 是第i个ResBlock滤波器个数,h i 和w i 分别表示第i个ResBlock输出特征图的高和宽;将特征图在滤波器个数维度上压平,得到b个大小为h i ×w i 的注意力图,具体如下:计算b个注意力图之间的相关性,得到注意力图之间的相似矩阵 M i 中的元素 具体如下:其中, 分别代表Mini-batch内第p个、第q个图像的注意力图。
2.根据权利要求1所述的基于相似一致性自蒸馏的无人机巡检缺陷分类方法,其特征在于,将训练好的自蒸馏缺陷图像分类模型迁移到无人机设备上,基于无人机系统实时采集大坝混凝土表面缺陷图像,实现在线缺陷图像分类。
3.根据权利要求1所述的基于相似一致性自蒸馏的无人机巡检缺陷分类方法,其特征在于,所述步骤1)的缺陷分类专用数据集构建包括以下过程:1-1)从网络以及实地拍摄所得的资料中采集大坝混凝土表面不同类型的缺陷图像,并将缺陷图像进行分类标注;1-2)对分类后的缺陷图像进行筛选,选取符合清晰度要求的缺陷图像,统一图像格式,得到缺陷图像数据集;1-3)采用随机分配的方式将缺陷图像数据集划分为支持集、查询集以及测试集。
4.根据权利要求1所述的基于相似一致性自蒸馏的无人机巡检缺陷分类方法,其特征在于,所述步骤3)中的将得到的相似矩阵在自蒸馏缺陷图像分类模型层间逐层传递,让浅层相似矩阵近似于深层相似矩阵,作为自蒸馏缺陷图像分类模型中相似一致性知识传递部分,得到相似一致性损失,表示相似一致性知识监督,联合真实标签监督,修正自蒸馏缺陷图像分类模型的训练方向;具体包含以下步骤:3-1)将深层部分的ResBlock当作教师,浅层部分的ResBlock当作学生,引导Mini-batch浅层Block获取深层Block的注意力相关性,使浅层ResBlock模仿深层ResBlock的相似矩阵,得到相似一致性损失Loss mimic ;3-2)将真实标签作为传统监督,修正模型的训练方向,得到来自真实标签的损失Loss GT ;3-3)整个模型的损失函数Totalloss由相似一致性损失Loss mimic 和来自真实标签的损失Loss GT 组成。
5.根据权利要求1所述的基于相似一致性自蒸馏的无人机巡检缺陷分类方法,其特征在于,所述步骤6)将训练好的自蒸馏缺陷图像分类模型迁移到无人机设备上,基于无人机系统实时采集大坝混凝土表面缺陷图像,实现在线缺陷图像分类;所述无人机系统包括:6-1)数据采集模块,通过搭载在无人机上双目相机,对拍摄范围内大坝的缺陷图像进行采集、存储;6-2)图像识别模块,接收无人机实时拍摄的缺陷图像,利用构建的自蒸馏缺陷图像分类模型进行实时分析缺陷图像的种类信息;6-3)数据传输模块,将图像识别模块拍摄的图像信息和其分类信息进行传输;6-4)地面站系统,接受无人机拍摄的缺陷图像和缺陷图像识别后的分类信息,然后制定飞行路线;6-5)飞控系统,接收地面站发出的指令,控制无人机对需要识别的区域进行拍照、识别、传输。
6.一种基于相似一致性自蒸馏的无人机巡检缺陷分类装置,其特征在于,包括如下内容:构建缺陷分类专用数据集模块,获取大坝立体巡检过程中的常见缺陷图像,采集混凝土表面不同类型的缺陷图像,进行图像预处理,结合大坝缺陷库知识对缺陷图像进行标注,构建缺陷分类专用数据集;基于相似一致性知识构建模块,将ResNet-32作为基准网络,利用软注意力机制,将三维特征图在特征维度上压平,获取图像的特征权值分布,形成二维注意力图,利用欧拉距离计算注意力图之间的相关性,得到相似矩阵,作为自蒸馏缺陷图像分类模型中基于相似一致性知识构建部分,获取相似一致性知识;具体实现过程为:2-1)采用残差网络ResNet-32作为基准网络,将单个缺陷图像输入,在经过每个ResBlock卷积操作后,生成三维特征图,利用软注意力机制,将三维特征图在通道上压平,获取图像的特征权值分布,得到单个图像输入在经过每个ResBlock处理后输出的二维注意力图;2-2)网络模型不同层次聚焦注意力图的不同区域,获得不同的特征表达;2-3)利用欧拉距离,计算同一层次Mini-batch内注意力图的相似性,得到注意力图之间的相似矩阵;注意力图之间的相似矩阵 M i 中的元素 具体如下:其中, 分别代表Mini-batch内第p个、第q个图像的注意力图;相似一致性知识传递模块,将基于相似一致性知识构建模块中得到的相似矩阵在自蒸馏缺陷图像分类模型层间逐层传递,作为自蒸馏缺陷图像分类模型中相似一致性知识传递部分,得到相似一致性损失,表示相似一致性知识监督,联合真实标签监督,修正自蒸馏缺陷图像分类模型的训练方向;所述相似一致性损失具体如下:其中,M i 是第i个ResBlock输出得到的相似矩阵;构建自蒸馏缺陷图像分类模型模块,将基于相似一致性知识构建模块中的基于相似一致性知识构建部分与相似一致性知识传递模块中的相似一致性知识传递部分结合,构建自蒸馏缺陷图像分类模型;自蒸馏缺陷图像分类模型训练模块,将构建的缺陷分类专用数据集中的缺陷图像数据输入到构建的自蒸馏缺陷图像分类模型,训练自蒸馏缺陷图像分类模型,并进行精度测试。
7.一种计算机设备,其特征在于:该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行上述计算机程序时实现如权利要求1-5任意一项所述的基于相似一致性自蒸馏的无人机巡检缺陷分类方法。
8.一种计算机可读存储介质,其特征在于:该计算机可读存储介质存储有执行如权利要求1-5任意一项所述的基于相似一致性自蒸馏的无人机巡检缺陷分类方法的计算机程序。