一种铁路异物侵限识别方法、系统、设备及介质

1.一种铁路异物侵限识别方法，其特征在于，所述方法包括如下步骤：获取多模态数据，所述多模态数据包括视频和/或原始铁路图像；对所述视频和/或原始铁路图像进行预处理，获得预处理图像；对所述预处理图像进行图像增强处理，获得目标增强图像；对所述目标增强图像进行图像分割预测，获得分割预测结果；对所述分割预测结果进行后处理，获得异物识别结果；其中，所述后处理是指保留轨行区域内的异常目标所对应的标识；所述多模态数据还包括多源提示信息，所述方法还包括步骤：构建分割预测网络，所述分割预测网络包括目标分割模型和提示检测模型；其中，在所述多源提示信息包括文本提示信息时，所述提示检测模型包括开放域目标检测模型，所述开放域目标检测模型根据所述文本提示信息，对所述目标增强图像进行初步识别，获得初始检测框和异物类别；所述目标分割模型根据所述多源提示信息、初始检测框和异物类别，对所述目标增强图像进行目标分割，获得分割预测结果；利用预训练数据集，对所述分割预测网络进行预训练；其中，先将所述目标分割模型作为学生模型，并将参考主干网络Hiera作为教师模型；然后，将所述预训练数据集输入所述教师模型，对所述学生模型采用知识蒸馏策略，从所述教师模型中提炼知识到所述学生模型。 2.根据权利要求1所述的铁路异物侵限识别方法，其特征在于，所述分割预测网络的总损失函数为： ；其中， 和 分别为掩码损失和检测框损失对应的权重； 为真实掩码和所述目标分割模型输出的预测掩码之间的掩码损失； 为真实检测框和所述目标分割模型输出的预测检测框之间的检测框损失；所述掩码损失 和所述检测框损失 分别为： ； ；其中， 表示掩码交叉熵损失； 表示掩码Dice损失； 和 分别为掩码交叉熵损失 和掩码Dice损失 对应的权重； 表示检测框Smooth L1损失； 表示类别交叉熵损失； 和 分别为检测框Smooth L1损失 和类别交叉熵损失 对应的权重。 3.根据权利要求1所述的铁路异物侵限识别方法，其特征在于，所述对所述预处理图像进行图像增强处理，获得目标增强图像，包括步骤：将所述预处理图像进行图像光照聚类，获得三通道均值；所述图像光照聚类是指对图像按照RGB颜色空间分别进行均值计算；判断所述三通道均值是否超过第一阈值，所述第一阈值是区分所述预处理图像对应光照条件的临界值；若所述三通道均值未超过所述第一阈值，则所述预处理图像为暗光图像，对所述预处理图像进行所述图像增强处理，获得目标增强图像；若所述三通道均值超过所述第一阈值，则所述预处理图像为其他光图像，无需对所述预处理图像进行所述图像增强处理，直接令所述预处理图像为目标增强图像。 4.根据权利要求1所述的铁路异物侵限识别方法，其特征在于，所述方法还包括步骤：构建自适应分割网络，所述自适应分割网络包括第一分支网络、第二分支网络和第三分支网络，所述第一分支网络、第二分支网络和第三分支网络中分别用于对所述预处理图像进行图像强增强、图像弱增强和图像预增强后，再进行目标分割，对应获得第一目标分割结果、第二目标分割结果和第三目标分割结果；然后所述第一分支网络还用于对所述第一目标分割结果和所述第三目标分割结果进行后处理，获得所述异物识别结果。 5.根据权利要求4所述的铁路异物侵限识别方法，其特征在于，所述方法还包括步骤：利用训练数据集，训练所述自适应分割网络，所述训练数据集包括有标签图像和无标签图像；其中，在所述第一分支网络，对所述有标签图像进行图像弱增强，对所述无标签图像进行图像强增强，分别获得第一弱增强图像和强增强图像；将所述第一弱增强图像和强增强图像输入第一分割模型进行目标分割，获得第一分割结果，所述第一分割结果包括所述第一弱增强图像对应的真实伪标签和所述强增强图像对应的第一伪标签；所述真实伪标签和真实标签之间采用自监督损失，所述第一伪标签用于和所述第三分支网络输出的第三分割结果进行后处理，获得所述无标签图像对应的目标分割结果；在所述第二分支网络，对所述无标签图像进行图像弱增强，获得第二弱增强图像；将所述第二弱增强图像输入第二分割模型进行目标分割，获得第二分割结果；对所述第二分割结果进行自适应筛选，获得第二伪标签；在所述第三分支网络，对所述无标签图像进行图像预增强，获得预增强图像；将所述预增强图像输入所述目标分割模型进行目标分割，获得第三分割结果；其中，所述第一伪标签分别与所述第二伪标签和第三分割结果之间采用对应的一致性损失函数。 6.根据权利要求5所述的铁路异物侵限识别方法，其特征在于，所述自适应分割网络的总损失函数为： ；其中， 为所述第一分割模型的监督损失， 为所述第二分割模型和所述第一分割模型之间的一致性损失， 为所述目标分割模型和所述第一分割模型之间的一致性损失， 、 和 分别为对应的损失权重。 7.一种铁路异物侵限识别系统，其特征在于，所述系统包括：数据获取单元，用于获取多模态数据，所述多模态数据包括多源提示信息、视频和/或原始铁路图像；预处理单元，用于对所述视频和/或原始铁路图像进行预处理，获得预处理图像；图像增强单元，用于对所述预处理图像进行图像增强处理，获得目标增强图像；分割预测单元，用于对所述目标增强图像进行图像分割预测，获得分割预测结果；后处理单元，用于对所述分割预测结果进行后处理，获得异物识别结果；其中，所述后处理是指保留轨行区域内的异常目标所对应的标识；所述多模态数据还包括多源提示信息，还包括：构建分割预测网络，所述分割预测网络包括目标分割模型和提示检测模型；其中，在所述多源提示信息包括文本提示信息时，所述提示检测模型包括开放域目标检测模型，所述开放域目标检测模型根据所述文本提示信息，对所述目标增强图像进行初步识别，获得初始检测框和异物类别；所述目标分割模型根据所述多源提示信息、初始检测框和异物类别，对所述目标增强图像进行目标分割，获得分割预测结果；利用预训练数据集，对所述分割预测网络进行预训练；其中，先将所述目标分割模型作为学生模型，并将参考主干网络Hiera作为教师模型；然后，将所述预训练数据集输入所述教师模型，对所述学生模型采用知识蒸馏策略，从所述教师模型中提炼知识到所述学生模型。 8.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。 9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。