1.一种基于深度质量加权的RGB-D显著性目标检测方法,其特征在于,该方法包括以下步骤:1)获取训练和测试显著性目标检测任务的RGB-D数据集,并定义本方法的算法目标,并确定用于训练和测试算法的训练集和测试集;2)构建用于提取RGB图像特征RGB编码器和深度图像特征Depth编码器;3)建立跨模态特点融合网络,通过加权式引导的深度质量评估机制指导RGB图像特征和Depth图像特征进行交叉加权融合;4)基于上述跨模态特点融合成的多模态特征,构建双向尺度相关卷积融合机制以增强多模态特征的高级语义信息,具体为:对第4和第5层次的多模态特征通过深度可分离卷积操作提取多尺度感受野信息,设置卷积核大小为3×3、5×5、7×7、9×9的深度可分离卷积,并通过残差连接融合多尺度特征;随后将多尺度特征连接后通过1×1卷积压缩通道,同时增加残差连接以稳定优化,生成高级特征;5)建立解码器,将前3层低层次多模态特征与步骤4生成的高层次多尺度互补特征输入解码器,通过sigmoid激活函数得到最终预测的显著图;6)预测出来的显著图P est 与人工标注的显著目标分割图P GT 进行损失函数的计算,并通过Adam和反向传播算法逐步更新所提出的模型参数权重,最终确定RGB-D显著性检测算法的结构和参数权重;7)在步骤6确定模型的结构和参数权重的基础上,对测试集上的RGB-D图像对进行测试,生成显著图P test ,并使用评价指标进行性能评估。
2.根据权利要求1所述的一种基于深度质量加权的RGB-D显著性目标检测方法,其特征在于:所述步骤1)具体方法是:将NJUD数据集、NLPR数据集和DUT-RGBD数据集作为训练集,将剩余部分的NJUD数据集、剩余的NLPR数据集、SIP数据集、LFSD数据集和RGBD135数据集作为测试集。
3.根据权利要求1所述的一种基于深度质量加权的RGB-D显著性目标检测方法,其特征在于:所述步骤2)具体方法是:2.1)利用VGG16作为模型的主干网络,用于提取RGB图像特征和对应的Depth图像特征,分别为 和 其中i表示层数,对应于VGG16的每层输出;2.2)主干网络为VGG16结构,其权重由在ImageNet数据集上预训练的VGG16模型初始化。
4.根据权利要求1所述的一种基于深度质量加权的RGB-D显著性目标检测方法,其特征在于:所述步骤3)具体方法是:3.1)跨模态加权融合网络由5个层次的跨模态加权融合CMWF模块构成,并生成5个层次的多模态特征 , 3.2)第i层次的CMWF模块的输入数据由 和 构成,并通过加权式引导的深度质量评估机制生成第i层次的多模态特征
5.根据权利要求1所述的一种基于深度质量加权的RGB-D显著性目标检测方法,其特征在于:所述步骤4)具体方法是:4.1)分别将第4和第5层次的多模态特征通过深度可分离卷积操作提取多尺度的感受野信息,并设置不同卷积核大小的深度可分离卷积:R 1 =DConv 3 (R)+R 公式(9)R i =DConv 2×i+1 (R i-1 )+R,i∈(2,3,4) 公式(10)其中,R表示输入特征,DConv 3 表示3×3深度可分离卷积,DConv 2×i+1 表示卷积核为2×i+1的深度可分离卷积;4.2)将上述所有的多尺度特征连接起来,增加一个残差连接以稳定优化得到高级特征 4.3)将步骤4所获得的前3层低层次多模态特征 和 和步骤5所获取到的2层高层次的多尺度互补特征 和 输入到解码器中,得到最终的融合特征,在经过sigmoid函数激活,得到预测的显著图P est : 。