1.一种基于SAM的多模态弱纹理边坡遥感图像的分割方法,其特征在于所述方法包括如下步骤:步骤1、构建基于SAM网络的弱纹理边坡分割模型,用于分割边坡表面特征和背景部分,所述基于SAM网络的弱纹理边坡分割模型包括图像编码器、提示编码器、掩膜解码器、HRSI模块和模态感知模块,其中:所述HRSI模块对输入的非光学模态图像进行处理,获取非光学模态图像的非光学特征;所述模态感知模块根据HRSI模块获取的非光学模态图像的非光学特征与光学图像特征进行交互,完成非光学特征的增强并输入至图像编码器;所述图像编码器用于映射待分割的图像到图像特征空间,得到图像特征;所述提示编码器包括第一编码模块、第二编码模块和第三编码模块,根据图像编码器得到的图像特征分别生成密集提示、稀疏提示和图像位置编码;所述掩膜解码器通过整合图像编码器与提示编码器的输出,预测分割掩码;所述HRSI模块由两个卷积模块、一个中心差分卷积模块、一个最大池化层、一个上采样层和一个自适应深层与浅层特征融合模块组成,非光学模态图像 首先输入到第一个卷积模块中,以初始提取图像特征,得到特征 ;然后将特征 分别输入到中心差分卷积模块和最大池化层,中心差分卷积模块处理特征 后获得浅层的细粒度特征 ,最大池化层处理特征 以产生特征 ;特征 输入到与最大池化层连接的第二个卷积模块中进行特征提取,第二个卷积模块输出经过上采样层处理,得到特征 ;将特征 和特征 输入到自适应深层与浅层特征融合模块,产生融合特征 ;步骤2、对待分割的多模态弱纹理边坡遥感图像进行双边滤波和归一化处理;步骤3、组合使用Dice损失和交叉熵损失训练步骤1构建的基于SAM网络的弱纹理边坡分割模型,并在训练过程中冻结图像编码器的参数;步骤4、将步骤2处理后的多模态弱纹理边坡遥感图像输入到步骤3训练好的基于SAM网络的弱纹理边坡分割模型,基于SAM网络的弱纹理边坡分割模型输出多模态弱纹理边坡遥感图像中边坡裂隙特征的分割结果。
2.根据权利要求1所述的基于SAM的多模态弱纹理边坡遥感图像的分割方法,其特征在于所述图像编码器中引入多尺度特征提取模块,在图像编码器MobileNetV2网络中选择第5个Bottle-Neck和第7个Bottle-Neck的输出提取不同尺度特征,然后将BottleNeck6的特征与BottleNeck7的特征相加后进行2倍上采样,最后与BottleNeck5的特征融合作为BottleNeck5的输出,经过特征融合的BottleNeck5特征与BottleNeck7特征经过MRLA-Light模块,加强不同层之间的联系,得到更具辨别性的特征,并与BottleNeck5的特征一起输入到池化层和全连接层。
3.根据权利要求1所述的基于SAM的多模态弱纹理边坡遥感图像的分割方法,其特征在于所述模态感知模块采用两个跨模态注意力模块实现非光学模态图像的非光学特征和光学图像特征的交互,具体过程如下:非光学模态的边坡图像编码由HRSI模块 完成,设输入的非光学模态的边坡图像数据为 ,它的宽度和高度分别用 、 表示,那么非光学模态的边坡图像的特征 获取方式如下: ;对于第 层的非光学特征 和光学特征 ,跨模态注意力过程公式为:这里的 代表跨模态注意力计算, 表示光学模态关注到的非光学特征信息,增强后的非光学特征 表示为 , 通过第 层的网络后得到 ,至此完成非光学特征到光学图像特征的增强;光学图像特征对非光学特征的增强过程如下: 。
4.根据权利要求1所述的基于SAM的多模态弱纹理边坡遥感图像的分割方法,其特征在于所述非光学模态图像为SAR图像、LiDAR点云数据、热红外图像、多模态融合数据和非标准格式图像。
5.根据权利要求1所述的基于SAM的多模态弱纹理边坡遥感图像的分割方法,其特征在于所述交叉熵损失 和Dice损失 为: ; ;其中, 和 分别表示图像的高度和宽度, 表示分割标签, 表示模型的分割结果。