一种基于多视角特征融合的渣土车带泥检测方法及装置

1.一种基于多视角特征融合的渣土车带泥检测方法，其特征在于，包括：获取渣土车在至少两个视角下的目标图像，并将每个所述目标图像分别输入至卷积神经网络中，得到每个所述目标图像中的第一轮廓特征；对初始融合特征编码以及所有所述第一轮廓特征进行多角度融合编码处理，得到目标融合特征编码以及与每个所述第一轮廓特征对应的视觉特征；基于全连通层对所述目标融合特征编码以及所有所述视觉特征进行分类处理，并根据预设的权重对处理结果进行加权求和处理，得到目标预测值；根据所述目标预测值判断所述渣土车的冲洗情况是否达标；其中，在所述对初始融合特征编码以及所有所述第一轮廓特征进行多角度融合编码处理，得到目标融合特征编码以及与每个所述第一轮廓特征对应的视觉特征之前，还包括：对每个所述第一轮廓特征进行降维处理，得到第二轮廓特征；对每个所述第二轮廓特征进行卷积计算，得到第三轮廓特征；对所述第三轮廓特征进行图像编码处理，得到轮廓图像编码；所述对初始融合特征编码以及所有所述第一轮廓特征进行多角度融合编码处理，得到目标融合特征编码以及与每个所述第一轮廓特征对应的视觉特征，包括：对初始融合特征编码以及所有所述轮廓图像编码进行多角度融合编码处理，得到目标融合特征编码以及与每个所述第一轮廓特征对应的视觉特征；其中，所有所述轮廓图像编码包括第一图像编码以及第二图像编码；所述对初始融合特征编码以及所有所述轮廓图像编码进行多角度融合编码处理，得到目标融合特征编码以及与每个所述第一轮廓特征对应的视觉特征，包括：对初始融合特征编码以及所述第一图像编码进行拼接处理，得到第一拼接特征；对所述第一拼接特征进行多角度融合注意力计算，得到第一注意力特征；对所述第一注意力特征以及所述第二图像编码进行拼接处理，得到第二拼接特征；对所述第二拼接特征进行多角度融合注意力计算，得到第二注意力特征；对所述第二注意力特征进行多层感知机计算，并根据计算结果确定出目标融合特征编码；其中，与所述第二图像编码对应的视觉特征与所述目标融合特征编码一致；对所述第一注意力特征进行多层感知机计算，并根据计算结果确定出与所述第一图像编码对应的视觉特征。 2.根据权利要求1所述的方法，其特征在于，所有所述轮廓图像编码包括第一图像编码、第二图像编码以及第三图像编码；所述对初始融合特征编码以及所有所述轮廓图像编码进行多角度融合编码处理，得到目标融合特征编码以及与每个所述第一轮廓特征对应的视觉特征，包括：对初始融合特征编码以及所述第一图像编码进行拼接处理，得到第一拼接特征；对所述第一拼接特征进行多角度融合注意力计算，得到第一注意力特征；对所述第一注意力特征以及所述第二图像编码进行拼接处理，得到第二拼接特征；对所述第二拼接特征进行多角度融合注意力计算，得到第二注意力特征；对所述第二注意力特征以及所述第三图像编码进行拼接处理，得到第三拼接特征；对所述第三拼接特征进行多角度融合注意力计算，得到第三注意力特征；对所述第三注意力特征进行多层感知机计算，并根据计算结果确定出目标融合特征编码；其中，与所述第三图像编码对应的视觉特征与所述目标融合特征编码一致；对所述第一注意力特征进行多层感知机计算，并根据计算结果确定出与所述第一图像编码对应的视觉特征；对所述第二注意力特征进行多层感知机计算，并根据计算结果确定出与所述第二图像编码对应的视觉特征。 3.根据权利要求1或2所述的方法，其特征在于，在所述对初始融合特征编码以及所述第一图像编码进行拼接处理，得到第一拼接特征之前，还包括：对初始融合特征编码进行线性变换处理，以使经过处理后的初始融合特征编码与所述第一图像编码的维度一致；所述对初始融合特征编码以及所述第一图像编码进行拼接处理，得到第一拼接特征，包括：对经过处理后的所述初始融合特征编码以及所述第一图像编码进行拼接处理，得到第一拼接特征。 4.根据权利要求1或2所述的方法，其特征在于，在所述对所述第一拼接特征进行多角度融合注意力计算，得到第一注意力特征之前，还包括：对所述第一拼接特征进行正则化处理；所述对所述第一拼接特征进行多角度融合注意力计算，得到第一注意力特征，包括：对经过处理后的所述第一拼接特征进行多角度融合注意力计算，得到第一注意力特征。 5.根据权利要求1所述的方法，其特征在于，在所述对初始融合特征编码以及所有所述第一轮廓特征进行多角度融合编码处理，得到目标融合特征编码以及与每个所述第一轮廓特征对应的视觉特征之后，所述基于全连通层对所述目标融合特征编码以及所有所述视觉特征进行分类处理之前，还包括：将所述初始融合特征编码替换为所述目标融合特征编码，以及将每个所述第一轮廓特征分别替换为各自对应的视觉特征；对经过替换后的所述初始融合特征编码以及经过替换后的所有所述第一轮廓特征进行多角度融合编码处理，得到目标融合特征编码以及与每个所述第一轮廓特征对应的视觉特征。 6.一种基于多视角特征融合的渣土车带泥检测装置，其特征在于，包括：第一处理模块，用于获取渣土车在至少两个视角下的目标图像，并将每个所述目标图像分别输入至卷积神经网络中，得到每个所述目标图像中的第一轮廓特征；第二处理模块，用于对初始融合特征编码以及所有所述第一轮廓特征进行多角度融合编码处理，得到目标融合特征编码以及与每个所述第一轮廓特征对应的视觉特征；第三处理模块，用于基于全连通层对所述目标融合特征编码以及所有所述视觉特征进行分类处理，并根据预设的权重对处理结果进行加权求和处理，得到目标预测值；结果预测模块，用于根据所述目标预测值判断所述渣土车的冲洗情况是否达标；其中，在所述对初始融合特征编码以及所有所述第一轮廓特征进行多角度融合编码处理，得到目标融合特征编码以及与每个所述第一轮廓特征对应的视觉特征之前，还包括：对每个所述第一轮廓特征进行降维处理，得到第二轮廓特征；对每个所述第二轮廓特征进行卷积计算，得到第三轮廓特征；对所述第三轮廓特征进行图像编码处理，得到轮廓图像编码；所述对初始融合特征编码以及所有所述第一轮廓特征进行多角度融合编码处理，得到目标融合特征编码以及与每个所述第一轮廓特征对应的视觉特征，包括：对初始融合特征编码以及所有所述轮廓图像编码进行多角度融合编码处理，得到目标融合特征编码以及与每个所述第一轮廓特征对应的视觉特征；其中，所有所述轮廓图像编码包括第一图像编码以及第二图像编码；所述对初始融合特征编码以及所有所述轮廓图像编码进行多角度融合编码处理，得到目标融合特征编码以及与每个所述第一轮廓特征对应的视觉特征，包括：对初始融合特征编码以及所述第一图像编码进行拼接处理，得到第一拼接特征；对所述第一拼接特征进行多角度融合注意力计算，得到第一注意力特征；对所述第一注意力特征以及所述第二图像编码进行拼接处理，得到第二拼接特征；对所述第二拼接特征进行多角度融合注意力计算，得到第二注意力特征；对所述第二注意力特征进行多层感知机计算，并根据计算结果确定出目标融合特征编码；其中，与所述第二图像编码对应的视觉特征与所述目标融合特征编码一致；对所述第一注意力特征进行多层感知机计算，并根据计算结果确定出与所述第一图像编码对应的视觉特征。 7.一种基于多视角特征融合的渣土车带泥检测装置，其特征在于，包括处理器以及存储器；所述处理器与所述存储器连接；所述存储器，用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如权利要求1-5任一项所述方法的步骤。 8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求1-5任一项所述方法的步骤。