1.一种抗透射畸变的无人机倾斜影像语义信息提取方法,其特征在于,包括以下步骤:步骤1,基于双分支特征提取器进行多尺度特征编码,以双分辨率无人机倾斜图像作为输入,进行多尺度特征提取,该多尺度特征包括不同层级和同一层级的多尺度特征,不同层级的多尺度特征来自编码器的不同编码层,同一层级的多尺度特征来自不同分辨率输入的同一编码层;步骤2,基于跨尺度上下文选择器进行密集特征提取,构建跨尺度上下文选择器,用以在同一编码层的双尺度特征中提取上下文信息,并得到双尺度特征对应的特征权重图,根据学习到的特征权重图,双尺度特征图进行自适应融合;其中,跨尺度上下文选择器首先将较低分辨率图像编码的多尺度特征上采样到和较高分辨率图像编码的多尺度特征同样的大小,并沿着通道维度将他们拼接起来得到融合双尺度特征的特征图,然后利用一个跨尺度上下文编码结构来学习双尺度特征图中跨尺度像素之间的上下文关系,从而为双尺度特征图中的每个像素赋予重要性权重以选择性地进行双尺度特征的融合;步骤3,基于多尺度特征聚合器进行特征解码,首先采用自上而下的特征传递方式将编码器的低层几何特征逐层地嵌入到解码器的高层语义特征中,然后建立多尺度特征聚合器以融合多个解码层中不同尺度的语义特征,从而增强解码特征图对无人机图像中多尺度对象语义表达的鲁棒性;其中,多尺度特征聚合器首先对每个语义特征图进行卷积操作后沿通道方向进行合并,再获取全局特征描述向量,并得到特征间的上下文关系,最后获取各通道特征的重要性权重向量。
2.根据权利要求1所述的抗透射畸变的无人机倾斜影像语义信息提取方法,其特征在于:所述步骤1中分别采用wide-resnet38进行多尺度特征的提取。
3.根据权利要求1所述的抗透射畸变的无人机倾斜影像语义信息提取方法,其特征在于:所述跨尺度上下文选择器由两个 的卷积层,两个连续的 的卷积层和一个sigmoid激活函数构成,其中, 的卷积层用来混合双尺度特征和降维处理, 的卷积层用来提取混合双尺度特征的局部上下文信息,sigmoid激活函数用来将编码得到的混合双尺度特征归一化得到双尺度特征对应的特征权重图。
4.根据权利要求1所述的抗透射畸变的无人机倾斜影像语义信息提取方法,其特征在于:根据学习到的特征权重图,双尺度特征图通过下式进行自适应的融合:式中, 表示双尺度特征图经过上下文选择得到的融合后的特征图, 表示卷积核为 的卷积层用于降维,符号 表示矩阵乘法操作, 表示矩阵加法操作, 表示特征图的上采样操作,双分辨率输入图像编码的多尺度特征分别表示为 和 ,特征权重图 W i 。
5.根据权利要求1所述的抗透射畸变的无人机倾斜影像语义信息提取方法,其特征在于:所述解码器基于特征聚合器的权重向量采用自上而下的特征传递方式将低层特征逐层地嵌入到高层特征中具体采用下式:式中, 为融合双尺度特征的特征图, 表示卷积核为 的卷积层用于不同特征的融合,符号 表示矩阵加法操作, 表示将特征图 上采样到 一样的大小用于特征融合。
6.根据权利要求5所述的抗透射畸变的无人机倾斜影像语义信息提取方法,其特征在于:所述多尺度特征聚合器首先在每个语义特征图上采用一个 的卷积层,然后将第三和第四个解码层特征图上采样成与第二个解码层特征图相同的大小并沿着通道方向合并,其次,聚合器采用一个沿着通道方向的全局平均池化操作得到全局特征描述向量,进一步使用两个全连接层建模全局特征描述向量中特征间的上下文关系,最后,利用一个sigmoid函数归一化得到各通道特征的重要性权重向量。
7.一种用于实现权利要求1-6中任一项所述的抗透射畸变的无人机倾斜影像语义信息提取方法的系统,其特征在于:包括编码模块,特征提取模块,解码模块;所述编码模块基于双分支特征提取器进行多尺度特征编码,以双分辨率无人机倾斜图像作为输入,进行多尺度特征提取,该多尺度特征包括不同层级和同一层级的多尺度特征,不同层级的多尺度特征来自编码器的不同编码层,同一层级的多尺度特征来自不同分辨率输入的同一编码层;所述特征提取模块基于跨尺度的上下文选择器进行密集特征提取,构建跨尺度上下文选择器,用以在同一编码层的双尺度特征中提取上下文信息,并得到双尺度特征对应的特征权重图,根据学习到的特征权重图,双尺度特征图进行自适应融合;所述解码模块基于多尺度特征聚合器进行特征解码,该解码模块首先采用自上而下的特征传递方式将编码器的低层几何特征逐层地嵌入到解码器的高层特征中,从而得到具有不同粒度细节信息的语义特征图;然后构建多尺度上下文聚合器对每个语义特征图进行卷积操作后沿通道方向进行合并,再沿着通道方向进行全局平均池化操作得到全局特征描述向量,并获取特征间的上下文关系,最后获取各通道特征的重要性权重向量用于多层语义特征图的自适应聚合。
8.一种用于实现权利要求7所述系统的网络训练方法,其特征在于:采用了编码器-解码器联合监督的方式进行网络训练,该监督模式除了对最终的解码特征进行语义监督,还在编码器的最高层特征增加了额外的语义监督,以引导编码特征以更有效的方式进行梯度回传,从而进一步优化语义预测结果;用于该联合监督模式的总的损失方程可用下式表达:式中, 表示语义真值, 和 分别表示来自解码器的最终预测图和来自编码器最高层特征的预测图; 表示网络输入的不同分辨率图像的数量, 和 分别表示用于监督 和 的损失方程,该损失利用 和 作为权重以平衡 和 在总的损失函数中的重要性。
9.一种电子设备,其特征在于,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一项所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于:所述程序被处理器执行时实现如权利要求1-6中任一项所述的方法。