有效
无人机闭环智能协同搜救方法和装置
杜航、程光权、吴克宇、雷军、梁星星、张龙飞、成清、孙博良、李硕豪、吴昕阳、张军
中国人民解放军国防科技大学
杜
杜航 专利 57
中国人民解放军国防科技大学计算模型系统生物模型计算数学模式系统
程
程光权 专利 145
中国人民解放军国防科学技术大学数学模式系统计算模型系统生物模型计算
吴
吴克宇 专利 61
三峡大学数学模式系统知识系统计算模型系统
雷
雷军 专利 48
中国人民解放军国防科技大学视觉识别图像视频识别生物模型计算
梁
梁星星 专利 56
中国人民解放军国防科学技术大学计算模型系统计算技术物理仪器
张
张龙飞 专利 17
中国人民解放军国防科技大学计算模型系统计算技术物理仪器
成
成清 专利 60
中国人民解放军国防科技大学知识系统生物模型计算计算模型系统
孙
孙博良 专利 55
中国人民解放军国防科技大学计算技术物理仪器视觉识别
李
李硕豪 专利 64
中国人民解放军国防科技大学生物模型计算视觉识别计算模型系统
吴
吴昕阳 专利 8
中国人民解放军国防科技大学物理仪器下水管道系统计算技术
张
张军 专利 102
中国人民解放军国防科技大学视觉识别图像视频识别生物模型计算
摘要
为了解决传统分段式搜救流程信息割裂、效率低、浅层分析适应性差的问题,本发明提供一种无人机闭环智能协同搜救方法和装置,所述方法通过任务驱动的自适应多光谱采集实现高效数据获取,利用轻量级AI实时分析高空多光谱数据,自主发现潜在目标并触发抵近详查;基于光谱‑空间特征深度融合网络,通过多层次的跨通道注意力融合模块融合多源特征,精准识别单一传感器难以检测的弱目标;结合多维动态风险感知与三维地形建模,实时量化环境风险并叠加至数字表面模型,生成兼顾安全性与效率的多模式救援路径。本发明设计基于“感知‑决策‑行动‑学习”闭环的无人机智能搜救方式,显著提升了复杂环境下目标识别精度、响应速度及动态风险应对能力。
1.一种无人机闭环智能协同搜救方法,其特征在于,所述方法基于搭设有轻量化集成多光谱成像仪、边缘计算单元和自主飞行控制系统的搜救无人机,实现智能协同搜救;所述轻量化集成多光谱成像仪设置有同步触发控制器,用于对不同关键光谱通道数据进行同步触发时确保数据帧的精确对齐;所述无人机闭环智能协同搜救方法,包括:步骤110,进行高空概览与异常快速筛查,包括:利用轻量化集成多光谱成像仪同步采集多光谱数据;利用边缘计算单元记录并实时处理多光谱数据,标记异常区域,生成潜在兴趣点;步骤120,利用自主飞行控制系统,进行基于潜在兴趣点和任务驱动的抵近精细化详查,获得详细目标数据;步骤130,将详细目标数据输入光谱-空间特征深度融合网络,通过多层次的跨通道注意力融合模块融合多光谱特征,输出带高置信度的搜救目标位置;所述光谱-空间特征深度融合网络被设计用于实现搜救目标的智能识别;所述光谱-空间特征深度融合网络至少包括多个并行特征提取分支和多层次的跨通道注意力融合模块;多层次的跨通道注意力融合模块,包括浅层的跨通道注意力融合模块和深层的跨通道注意力融合模块;所述并行特征提取分支中的每一个分支专门负责从各自的关键光谱通道中提取初步的特征;所述跨通道注意力融合模块,利用跨通道注意力机制和跨通道融合机制实现不同关键光谱通道的特征相互沟通和融合;包括:将详细目标数据输入光谱-空间特征深度融合网络;利用并行特征提取分支分别提取关键光谱通道的特征,得到单通道特征;利用浅层的跨通道注意力融合模块的跨通道注意力机制,学习不同单通道特征之间的内在关联性,并利用对应层的跨通道融合机制生成初步的融合特征;利用深层的跨通道注意力融合模块的跨通道注意力机制对不同关键光谱通道的高级语义特征进行对齐和关联,并利用对应层的跨通道融合机制将对齐和关联后的高级语义特征进行加权与融合,生成深层的融合特征;循环上述过程,直到达到网络深度或特征精度要求,利用解码器或输出层输出带有高置信度且精确标注了搜救目标位置和目标轮廓的识别结果;步骤140,进行多模态路径规划,包括:基于搜救目标位置以及实时三维环境模型,通过融合多光谱动态风险数据,构建多维度动态搜救决策规划模型;设计搜救路径规划算法,求解多维度动态搜救决策规划模型获得最优搜救策略,作为多模态搜救路径方案;步骤141,基于搜救目标位置,构建多维度动态决策模型,包括:构建一个高精度的、实时的三维环境模型,包括利用详细目标数据实时构建一个厘米级精度的数字表面模型;所述三维环境模型既包含宏观地形信息又包含微观障碍物信息;融合三维环境模型与多光谱动态风险数据,构建多维度动态决策模型,包括通过量化动态风险对环境进行实时风险评估与标注;多维度动态决策模型的优化目标包括:路径长度、行进时间、体力消耗以及路径穿越的综合风险值;步骤142,启动搜救路径规划算法,求解多维度动态搜救决策规划模型获得最优搜救策略,作为多模态搜救路径方案;所述搜救路径规划算法在搜索可行路径时,同时优化多个目标:路径长度、行进时间、基于坡度计算的体力消耗以及路径穿越的综合风险值,提供不止一条的最佳路径,生成备选方案;步骤150,通过人机交互界面,可视化所述多模态搜救路径方案并接收指挥官决策指令,任务结束后基于行动结果迭代优化智能识别的过程与多维度动态搜救决策规划模型。
2.根据权利要求1所述的无人机闭环智能协同搜救方法,其特征在于,所述边缘计算单元采用轻量级实时AI分析模型,对同步采集的多光谱数据进行即时处理,并标记异常区域的潜在兴趣点。
3.根据权利要求2所述的无人机闭环智能协同搜救方法,其特征在于,所述进行基于潜在兴趣点和任务驱动的抵近精细化详查,包括:根据标记出一个或多个潜在兴趣点,无人机自动从概览模式切换至抵近精细化详查模式;无人机的自主飞行控制系统根据标记出的潜在兴趣点的坐标,自主规划出一条最优的抵近航线,自动降低飞行高度、调整云台角度、放慢飞行速度,对潜在兴趣点进行多角度、高分辨率的悬停或环绕拍摄,获得详细目标数据。
4.根据权利要求3所述的无人机闭环智能协同搜救方法,其特征在于,所述关键光谱通道至少包括:可见光、近红外、短波红外与热红外的光谱通道。
5.根据权利要求4所述的无人机闭环智能协同搜救方法,其特征在于,所述单通道特征包括:可见光分支提取的目标空间几何信息;热红外分支提取的热源的强度、分布和形状;近红外分支和短波红外分支提取与植被、土壤和人造织物相关的独特光谱反射率特征。
6.根据权利要求5所述的无人机闭环智能协同搜救方法,其特征在于,所述步骤150包括:步骤151,通过可干预的人机交互,实现任务执行中的人机协同闭环,包括:设计可干预的人机交互界面;将所述多模态搜救路径方案以及生成过程通过人机交互界面呈现在人机交互界面上;搜救任务的指挥官利用人机交互界面对搜救任务进行干预和决策;步骤152,进行任务结束后的系统自我进化,包括:将上一次搜救任务过程中产生的所有数据完整地、结构化地存入人机交互界面所在硬件系统的数据库;设计自动复盘学习程序,对历史数据进行成功和失败标记,利用标记后的数据重新训练步骤130中的光谱-空间特征深度融合网络,以及修正步骤140中多维度动态搜救决策规划模型的权重参数。
7.一种无人机闭环智能协同搜救装置,其特征在于,所述装置基于搭设有轻量化集成多光谱成像仪、边缘计算单元和自主飞行控制系统的搜救无人机,实现智能协同搜救;所述轻量化集成多光谱成像仪设置有同步触发控制器,用于对不同关键光谱通道数据进行同步触发时确保数据帧的精确对齐;所述装置包括:第一模块,用于进行高空概览与异常快速筛查,包括:利用轻量化集成多光谱成像仪同步采集多光谱数据;利用边缘计算单元记录并实时处理多光谱数据,标记异常区域,生成潜在兴趣点;第二模块,用于利用自主飞行控制系统,进行基于潜在兴趣点和任务驱动的抵近精细化详查,获得详细目标数据;第三模块,用于将详细目标数据输入光谱-空间特征深度融合网络,通过多层次的跨通道注意力融合模块融合多光谱特征,输出带高置信度的搜救目标位置;所述光谱-空间特征深度融合网络被设计用于实现搜救目标的智能识别;所述光谱-空间特征深度融合网络至少包括多个并行特征提取分支和多层次的跨通道注意力融合模块;多层次的跨通道注意力融合模块,包括浅层的跨通道注意力融合模块和深层的跨通道注意力融合模块;所述并行特征提取分支中的每一个分支专门负责从各自的关键光谱通道中提取初步的特征;所述跨通道注意力融合模块,利用跨通道注意力机制和跨通道融合机制实现不同关键光谱通道的特征相互沟通和融合;包括:将详细目标数据输入光谱-空间特征深度融合网络;利用并行特征提取分支分别提取关键光谱通道的特征,得到单通道特征;利用浅层的跨通道注意力融合模块的跨通道注意力机制,学习不同单通道特征之间的内在关联性,并利用对应层的跨通道融合机制生成初步的融合特征;利用深层的跨通道注意力融合模块的跨通道注意力机制对不同关键光谱通道的高级语义特征进行对齐和关联,并利用对应层的跨通道融合机制将对齐和关联后的高级语义特征进行加权与融合,生成深层的融合特征;循环上述过程,直到达到网络深度或特征精度要求,利用解码器或输出层输出带有高置信度且精确标注了搜救目标位置和目标轮廓的识别结果;第四模块,用于进行多模态路径规划,包括:基于搜救目标位置以及实时三维环境模型,通过融合多光谱动态风险数据,构建多维度动态搜救决策规划模型;设计搜救路径规划算法,求解多维度动态搜救决策规划模型获得最优搜救策略,作为多模态搜救路径方案;基于搜救目标位置,构建多维度动态决策模型,包括:构建一个高精度的、实时的三维环境模型,包括利用详细目标数据实时构建一个厘米级精度的数字表面模型;所述三维环境模型既包含宏观地形信息又包含微观障碍物信息;融合三维环境模型与多光谱动态风险数据,构建多维度动态决策模型,包括通过量化动态风险对环境进行实时风险评估与标注;多维度动态决策模型的优化目标包括:路径长度、行进时间、体力消耗以及路径穿越的综合风险值;启动搜救路径规划算法,求解多维度动态搜救决策规划模型获得最优搜救策略,作为多模态搜救路径方案;所述搜救路径规划算法在搜索可行路径时,同时优化多个目标:路径长度、行进时间、基于坡度计算的体力消耗以及路径穿越的综合风险值,用于提供不止一条的最佳路径,生成备选方案;第五模块,用于通过人机交互界面,可视化所述多模态搜救路径方案并接收指挥官决策指令,任务结束后基于行动结果迭代优化智能识别的过程与多维度动态搜救决策规划模型。



