基于事件的无监督域适应的语义分割网络的训练方法

1.一种基于事件的无监督域适应的语义分割网络的训练方法，其特征在于，包括：确定三分支自注意力网络；所述三分支自注意力网络包括并行的源域自注意力网络、交叉注意力网络和目标域自注意力网络；基于所述源域自注意力网络，对样本事件对中的样本合成事件的合成事件特征进行语义分割，得到第一语义分割结果；基于所述目标域自注意力网络，对所述样本事件对中的样本真实事件的真实事件特征进行语义分割，得到第二语义分割结果；基于所述交叉注意力网络，对所述合成事件特征和所述真实事件特征进行语义分割，得到第三语义分割结果；基于所述第一语义分割结果和所述样本合成事件的图像标签、所述第二语义分割结果和所述样本真实事件的伪标签，以及所述第三语义分割结果和所述第二语义分割结果，对所述三分支自注意力网络进行参数迭代，并将完成参数迭代后的目标域自注意力网络确定为语义分割网络；所述基于所述第一语义分割结果和所述样本合成事件的图像标签、所述第二语义分割结果和所述样本真实事件的伪标签，以及所述第三语义分割结果和所述第二语义分割结果，对所述三分支自注意力网络进行参数迭代，包括：基于所述第一语义分割结果和所述样本合成事件的图像标签，确定第一语义分割损失；基于所述第二语义分割结果和所述样本真实事件的伪标签，确定第二语义分割损失；基于所述第三语义分割结果和所述第二语义分割结果，确定知识蒸馏损失；基于所述第一语义分割损失、所述第二语义分割损失和所述知识蒸馏损失，对所述三分支自注意力网络进行参数迭代；所述样本真实事件的伪标签的确定步骤，包括：基于源域数据集中的源域图像和所述源域图像的图像标签，对单分支的自注意力网络进行训练，得到源域语义分割网络；将所述源域数据集中的源域图像转化为合成事件，并基于所述合成事件和所述源域数据集中的图像标签对所述单分支自注意力网络进行训练，得到合成事件域语义分割网络；获取样本真实事件，并对所述样本真实事件进行事件编码，得到事件编码特征，将所述事件编码特征输入至所述合成事件域语义分割网络中，得到所述合成事件域语义分割网络输出的第一预测概率图；将所述样本真实事件转化为合成图像，并将所述合成图像输入至所述源域语义分割网络中，得到所述源域语义分割网络输出的第二预测概率图；基于所述第一预测概率图和所述第二预测概率图，确定增强预测概率图；基于所述增强预测概率图，确定所述样本真实事件的伪标签。 2.根据权利要求1所述的基于事件的无监督域适应的语义分割网络的训练方法，其特征在于，所述基于所述第一语义分割结果和所述样本合成事件的图像标签，确定第一语义分割损失，包括：基于所述第一语义分割结果和所述样本合成事件的图像标签之间的一致性程度，确定第一图像分割损失；基于所述第一语义分割结果和所述样本合成事件的图像标签，确定第一交叉熵损失；基于所述第一图像分割损失和所述第一交叉熵损失，确定所述第一语义分割损失。 3.根据权利要求1所述的基于事件的无监督域适应的语义分割网络的训练方法，其特征在于，所述基于所述第二语义分割结果和所述样本真实事件的伪标签，确定第二语义分割损失，包括：基于所述第二语义分割结果和所述样本真实事件的伪标签之间的一致性程度，确定第二图像分割损失；基于所述第二语义分割结果和所述样本真实事件的伪标签，确定第二交叉熵损失；基于所述第二图像分割损失和所述第二交叉熵损失，确定所述第二语义分割损失。 4.根据权利要求1至3中任一项所述的基于事件的无监督域适应的语义分割网络的训练方法，其特征在于，所述样本事件对的获取步骤，包括：将原始样本合成事件输入至所述源域自注意力网络中，由所述源域自注意力网络的融合层得到并输出第一语义特征；将原始样本真实事件输入至所述目标域自注意力网络中，由所述目标域自注意力网络的融合层得到并输出第二语义特征；基于所述第一语义特征和所述第二语义特征之间的相似度，从所述原始样本合成事件和所述原始样本真实事件中确定所述样本事件对。 5.根据权利要求1至3中任一项所述的基于事件的无监督域适应的语义分割网络的训练方法，其特征在于，所述源域自注意力网络和所述目标域自注意力网络均依次包括自注意力层、第一双线性插值层、第一融合层和第一分类层，所述交叉注意力网络依次包括交叉注意力层、第二双线性插值层、第二融合层和第二分类层。 6.一种基于事件的无监督域适应的语义分割网络的训练装置，其特征在于，包括：确定单元，用于确定三分支自注意力网络；所述三分支自注意力网络包括并行的源域自注意力网络、交叉注意力网络和目标域自注意力网络；第一语义分割单元，用于基于所述源域自注意力网络，对样本事件对中的样本合成事件的合成事件特征进行语义分割，得到第一语义分割结果；第二语义分割单元，用于基于所述目标域自注意力网络，对所述样本事件对中的样本真实事件的真实事件特征进行语义分割，得到第二语义分割结果；第三语义分割单元，用于基于所述交叉注意力网络，对所述合成事件特征和所述真实事件特征进行语义分割，得到第三语义分割结果；参数迭代单元，用于基于所述第一语义分割结果和所述样本合成事件的图像标签、所述第二语义分割结果和所述样本真实事件的伪标签，以及所述第三语义分割结果和所述第二语义分割结果，对所述三分支自注意力网络进行参数迭代，并将完成参数迭代后的目标域自注意力网络确定为语义分割网络；所述参数迭代单元，具体用于：基于所述第一语义分割结果和所述样本合成事件的图像标签，确定第一语义分割损失；基于所述第二语义分割结果和所述样本真实事件的伪标签，确定第二语义分割损失；基于所述第三语义分割结果和所述第二语义分割结果，确定知识蒸馏损失；基于所述第一语义分割损失、所述第二语义分割损失和所述知识蒸馏损失，对所述三分支自注意力网络进行参数迭代；还包括伪标签确定单元，所述伪标签确定单元，具体用于：基于源域数据集中的源域图像和所述源域图像的图像标签，对单分支的自注意力网络进行训练，得到源域语义分割网络；将所述源域数据集中的源域图像转化为合成事件，并基于所述合成事件和所述源域数据集中的图像标签对所述单分支自注意力网络进行训练，得到合成事件域语义分割网络；获取样本真实事件，并对所述样本真实事件进行事件编码，得到事件编码特征，将所述事件编码特征输入至所述合成事件域语义分割网络中，得到所述合成事件域语义分割网络输出的第一预测概率图；将所述样本真实事件转化为合成图像，并将所述合成图像输入至所述源域语义分割网络中，得到所述源域语义分割网络输出的第二预测概率图；基于所述第一预测概率图和所述第二预测概率图，确定增强预测概率图；基于所述增强预测概率图，确定所述样本真实事件的伪标签。 7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于事件的无监督域适应的语义分割网络的训练方法。 8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于事件的无监督域适应的语义分割网络的训练方法。