由弱到强的域适应视觉注意网络及其在遥感影像目标提取中的应用

20210725

信息传输、软件和信息技术服务业

从理论层面看，本项目已解决了项目任务书中提出的全部科学问题，实现了项目的既定研究目标。从技术层面看，本项目取得的科技成果中，已有部分成果在技术上较为成熟，可以在相关企业应用中予以落地推广。 其中，针对图像显著目标与背景区域间的正负样本不均衡问题，项目组先后提出“基于变分多尺度生成对抗网络及注意力机制的遥感影像样本生成模型”以及“纹理引导下基于注意力感知变分生成对抗网络的遥感影像样本生成模型”，有效学习了图像底层视觉特征分布，实现了训练样本的有效扩张，解决了图像显著目标与背景区域间的正负样本不均衡问题，该成果目前可以应用于有遥感影像分析与处理需求的相关企业中。 此外，项目组还设计了“联合强、弱监督学习的遥感影像视觉显著性分析及目标提取方法”与“渐进监督驱动的遥感影像显著性分析与感兴趣目标提取方法”，实现了由弱到强的域适应视觉注意网络，有效降低了网络的人力与计算成本，在低样本标注精度基础上，最终完成了遥感影像视觉显著目标的高效提取。这两项成果先后申请了发明专利与软件著作权，目前也具有较为成熟的技术水平，可以在与智能图像处理相关的企业应用中予以落地推广。 当前，项目组依托本项目，在国内外重要学术刊物与权威学术会议上共发表学术论文33篇，其中，SCI检索论文17篇，在影响因子大于3的本领域权威刊物上发表学术论文16篇，在中科院分区推荐的Top期刊上发表代表性论文6篇；在ICASSP、ICIP、IGARSS等本领域重要国际会议上发表与本项目相关的学术论文16篇；申请发明专利2项，其中1项已获授权；此外，项目组还获得2项软件著作权，超额完成了本项目任务书中所提出的各项指标。 除上述成果外，项目组还参加了商汤科技开发有限公司举办的“AI瞰世界·2020人工智能遥感解译大赛”，该比赛旨在推动“空间信息稀疏表征与融合处理”的相关理论与技术发展，解决空间信息系数表征、多维时空数据的融合处理、空间信息的快速提取与知识发现等技术问题。 本次大赛有来自各大高校、研究部门共约360支队伍，参与到两个主题：变化检测与地物分类的比赛中来。 项目组参与了地物分类主题比赛，使用的数据集为商汤科技提供的具有地物类别标注的遥感影像共7万张，其中训练集5万张，公榜使用测试集1万张，私榜测试集1万张。数据规格为100×10012655×12655，分辨率为0.2153m。分类方法参考土地利用类别，利用层次化类别网络进行场景类别组织，包含农业用地、商业用地、工业用地、公共服务用地、住宅用地、交通用地、未利用土地和水域等8个一级大类，28个二级类，最终构成51个不同的场景类别。 项目组在本次比赛中，以DenseNet121为基础网络框架，加入标签平滑模块，和多尺度联合策略，得到最终分类模型。在对模型进行训练的过程中，项目组发现数据类别之间不均衡程度过大，对数据集进行扩张与均衡。最终获得了公榜第6名（准确率83.10%），总榜第5名（准确率82.18%）的成绩。这一成绩也表明项目组目前已取得的各项成果在技术转化方面具有较强优势。

本项目是由北京市自然科学基金-海淀原始创新联合基金资助下完成的纵向项目。其研究目标是：建立由弱到强的域适应视觉注意网络，将弱监督学习方法引入网络训练阶段，将强监督学习方法引入网络测试阶段，充分发挥强、弱监督在深度学习中的各自优势，有效缓解标注成本和算法精度间的固有矛盾，在低人力、低精度、低复杂度样本标注条件下，完成由弱到强的域适应视觉显著性分析，最终获得具有较高精度的底层视觉显著图并应用于遥感影像的视觉显著目标提取。 本项目所取得的成果以理论创新为主，兼具部分应用成果。项目所取得研究成果的主要应用方向大致有如下三个： 1、推进北京市在新一代信息技术、人工智能理论以及视觉感知计算等领域的全国学科引领作用，为北京市创建国家人工智能创新应用先导区提供相应支持，同时也为首都与人工智能相关的重点发展产业的重要科技问题提供科学、有效的解决方案。 2、为首都高新企业或研究院所“基于深度学习的底层计算机视觉分析”相关研究提供新理论、新方法，同时为“海量影像数据的高效、智能处理”开辟新的研究思路； 2、完善现有深度学习理论，为相关高新企业的“图像分类、目标提取、场景识别、信息融合以及变化检测”等研究方向提供必要的理论与技术保障； 综上所述，本项目在科技成果转化方面对合作方的要求包括： 1、企业应具有一定的研发投入资金； 2、企业应长期从事智能图像处理、计算机视觉或遥感影像智能解译方面的研究与开发工作； 3、企业拥有相关研发场地，具备较高水平的研发设备，例如：拥有较高计算能力的显卡与CPU，或拥有一定数量用于智能图像处理的高性能工作站。 4、企业拥有一定数量从事智能图像处理、计算机视觉或遥感影像智能解译方面的高端研发人员或研发团队，从而能够就相关技术问题展开深入交流与讨论。

可国（境）内外转让

1、本项目科技成果转化的预期经济效益 本项目是“北京市自然科学基金-海淀原始创新联合基金”的前沿项目，属于前沿技术探索类项目，主要解决当前深度学习中标注成本和算法精度间的固有矛盾，从而在低人力、低精度、低复杂度样本标注条件下，实现由弱到强的域适应视觉显著性分析，最终获得具有较高精度的底层视觉显著图并应用于遥感影像的视觉显著目标提取。 因此，本项目所取得的科技成果已理论创新为主，预期经济效益可以概括为如下四个方面： 1）在智能图像处理领域，为兄弟院校、相关高新企业以及部分研究院所提供新思路、新理论与新方法。 2）在海量遥感高效、智能处理方面，为航天及遥感企业提供智能判读与解译算法。 3）为智能交通运输领域提供遥感大数据分析与处理算法，从而满足用户对于交通基础设施大范围、精细化的实时动态监测管理需求，大幅提升交通基础设施运行服务能力。 4）为首都的土地规划、环境检测、灾害预警以及防灾减灾，从人工智能与计算机视觉角度提供必要的技术支持。 2、本项目科技成果转化的预期社会效益 本项目科技成果的预期社会效益可以概括为如下四个方面： 1）本项目的科技成果不仅有助于突破制约我国海量遥感数据高效应用的瓶颈问题，而且有利于推动北京市在“十四五”期间“人工智能关键算法”研发取得实质性突破。 2）本项目的科技成果有助于推动首都在新一代信息技术、人工智能理论以及视觉感知计算等领域的全国学科引领作用，为北京市创建国家人工智能创新应用先导区提供相应支持，同时也为首都与人工智能相关的重点发展产业的重要科技问题提供科学、有效的解决方案。 3）北京冬奥会的日渐临近，势必将对首都的大数据分析、信息整合、城市规划、环境监测以及灾害预警等方面提出更高要求，本项目的相关研究成果将从人工智能、计算机视觉以及遥感科学深度交叉融合的角度为上述工作提供重要的理论支持与技术保障，这也是本项目的一个重要应用前景。 4）本项目所获科研成果将为基于遥感影像数据的北京市新城区规划、生态环境保护以及土地利用监测等领域，从遥感与信息科学交叉的角度提供必要的理论支持与技术保障，为提升人民生活水平与发展城市社会经济提供可持续发展的科技支撑。

北京市自然科学基金-海淀原始创新联合基金前沿项目

北京市科学技术委员会;中关村科技园区管理委员会

本项目在北京市自然科学基金-海淀原始创新联合基金的大力支持下，按照项目任务书中提出的总体研究目标、研究内容与年度计划，积极开展相关科研工作，在保证该项目关键科学问题得以有效解决的基础上，实现了项目的既定研究目标。 本项目取得的主要理论成果包括： 1）针对图像显著目标与背景区域间的正负样本不均衡问题，先后提出“基于变分多尺度生成对抗网络及注意力机制的遥感影像样本生成模型”以及“纹理引导下基于注意力感知变分生成对抗网络的遥感影像样本生成模型”，有效学习了图像底层视觉特征分布，实现了训练样本的有效扩张，解决了图像显著目标与背景区域间的正负样本不均衡问题，为增强后续网络的分析与决策能力提供了必要支持与保障。 2）在弱监督环境下，构建了“不均衡数据集下基于多视点学习与注意机制的遥感影像显著性分析及目标提取方法”，设计了“基于分层弱监督学习的遥感影像显著性分析及目标提取方法”，在低人力、低精度、低复杂度样本标注条件下，实现了具有较高输出精度的底层视觉显著性分析网络，并生成了较为精确的遥感影像底层视觉显著图。 3）针对现有深度学习网络存在的域适应能力不足问题，先后提出“基于自顶向下特征融合与无监督域适应的遥感影像域适应视觉注意网络”与“基于全局视觉注意与多层领域自适应的遥感影像显著目标提取方法”，实现了端对端的域适应视觉注意网络，增强了深度学习网络对多源图像的域适应能力。 4）先后设计了“联合强、弱监督学习的遥感影像视觉显著性分析及目标提取方法”与“渐进监督驱动的遥感影像显著性分析与感兴趣目标提取方法”，实现了由弱到强的域适应视觉注意网络，有效降低了网络的人力与计算成本，在低样本标注精度基础上，最终完成了遥感影像视觉显著目标的高效提取。 本项目取得的论文、专利与软件著作权成果包括： 项目组依托本项目，在国内外重要学术刊物与权威学术会议上共发表学术论文33篇，其中，SCI检索论文17篇，在影响因子大于3的本领域权威刊物上发表学术论文16篇，在中科院分区推荐的Top期刊上发表代表性论文6篇；在ICASSP、ICIP、IGARSS等本领域重要国际会议上发表与本项目相关的学术论文16篇；申请发明专利2项，其中1项已获授权；此外，项目组还获得2项软件著作权，超额完成了本项目任务书中所提出的各项指标。 本项目的应用前景可以归纳为如下三个方面： 1）本项目充分结合了强、弱监督学习各自优势，基于高效的样本扩张策略，构建了由弱到强的域适应视觉注意网络，有效降低训练网络的人力与计算成本，实现了底层视觉显著图的精确获取并完成了视觉显著目标的快速、高效提取。相关研究成果不仅为深度学习应用于底层计算机视觉分析提供了新理论、新方法，而且为海量影像数据的智能分析与处理开辟了新的研究思路。 2）对本项目的深入研究将有力推进海淀区在深度学习以及底层计算机视觉相关领域在全国的学科引领作用，为海淀区构建全国科技创新中心提供相应支持，同时将为海淀核心区与人工智能相关的重点发展产业的重要科技问题提供科学、有效的解决方案。 3）随着2022年冬季奥运会的临近，势必将对本市的信息整合、大数据分析、城市规划、生态环境监测以及灾害预等方面提出更高的要求，本项目的相关研究成果将从计算机视觉、人工智能与遥感科学交叉的角度为上述工作提供重要的理论支持与技术保障，这也是本项目的一个重要应用前景。