有效
一种视觉增强的多无人机具身搜索系统
赵勇、朱正秋、季雅泰、胡越、路文浩、秦龙、焦鹏、尹全军
中国人民解放军国防科技大学
摘要
本申请涉及一种视觉增强的多无人机具身搜索系统,系统包括问题分析与建模模块和视觉增强的多无人机协作具身搜索模块;视觉增强的多无人机协作具身搜索模块包括控制端和无人机端;无人机端包括视觉增强的感知信息处理与融合模块和基于视觉模型的目标信息提取模块;控制端包括基于全局异构动态拓扑图维护与更新模块以及基于双层Voronoi图分割的多阶段任务分配模块。采用本系统能够提高搜索效率。
1.一种视觉增强的多无人机具身搜索系统,其特征在于,所述系统包括问题分析与建模模块和视觉增强的多无人机协作具身搜索模块;所述视觉增强的多无人机协作具身搜索模块包括控制端和无人机端;所述无人机端包括视觉增强的感知信息处理与融合模块和基于视觉模型的目标信息提取模块;所述控制端包括基于全局异构动态拓扑图维护与更新模块以及基于双层Voronoi图分割的多阶段任务分配模块;所述问题分析与建模模块用于解析给定的搜索任务给出目标物体、目标物体位置和搜索环境;所述无人机端在任意时刻获取搜索环境中自身的当前位置信息以及对应的RGB图像和深度图像,根据视觉增强的感知信息处理与融合模块将深度图像中的环境信息映射为3D点云信息并进一步投影到二维网格地图提取新增标记网格形成初始增量网格;再基于视觉模型的目标信息提取模块借助Grounded-SAM视觉模型对RGB图像分析,提取目标物体的视觉线索并在网格地图中标记后,根据标记后的网格地图和初始增量网格构建最终增量网格并传输至控制中心端;所述控制中心端基于全局异构动态拓扑图维护与更新模块将所有无人机的最终增量地图融合到历史地图更新目标物体存在的网格构建全局异构动态拓扑图;再基于双层Voronoi图分割的多阶段任务分配模块进行多阶段任务分配,在完成多阶段任务分配后,通过全局异构动态拓扑图为无人机规划路径,实施离散行动控制;所述全局异构动态拓扑图维护与更新模块包括全局地图更新和异构节点更新两部分,所述全局地图更新是收集所有无人机最终增量地图融合到历史地图,更新目标物体可能存在的网格,去除重复并合并相连网格,得到更新后的全局地图;所述异构节点更新包括无人机节点、历史节点、边界节点和兴趣节点的更新;所述无人机节点由各无人机的当前位置构成,对应地图上的网格;所述历史节点是从多无人机到达过的位置中提取,保持最小间距,经Dijkstra扩展后,周围无其他历史节点XA则转化为历史节点加入集合;所述边界节点更新经过边界网格识别阶段、边界聚类阶段和边界节点采样阶段三个阶段,识别出边界网格后进行聚类,再用最远点采样算法采样得到边界节点集,按与兴趣节点的连接情况分为平凡和非平凡边界节点;所述兴趣节点代表目标物体可能位置,来源于无人机视觉增强收集的信息,状态分为失效、不可达、可达,失效表示被确认不是目标,可达表示所在网格已探索可规划路径前往确认,不可达表示所在网格未探索暂时无法到达;所述全局异构动态拓扑图包含7种无向边,采用节点之间的最短路径作为边的权重;其中,历史节点与所有类型节点能够连接;不可达兴趣节点与邻近边界节点相连;无人机节点与附近其他类型节点连接,通过Dijkstra搜索判断节点之间是否有边并确定权重;历史节点之间距离不超过阈值 时连边;不可达兴趣节点与周围距离不超过 的边界节点连边;可达兴趣点与最近历史节点连边;边界节点与最近历史节点相连;无人机节点与周围距离不超过 的边界节点、历史节点和可达兴趣节点连边;所述基于双层Voronoi图分割的多阶段任务分配模块包含局部图分割阶段和全局图分割阶段;所述局部图分割阶段用于提取无人机节点的局部子图,将无人机节点作为种子节点,对边界节点和兴趣节点进行Voronoi图分割;所述全局图分割阶段表示从全局异构动态拓扑图中抽取包含无人机节点和部分历史节点的子图,以无人机节点为种子节点,将各历史节点分割到距离最近的无人机节点。
2.根据权利要求1所述的系统,其特征在于,所述问题分析与建模模块还用于进行搜索判定,当任意无人机与目标物体的距离不超过预设阈值且成功识别出目标时,判定搜索成功,记为: ;其中, 为用于判断是否找到目标物体的函数,当 表示目标物体被找到,函数 和 分别表示距离度量函数和无人机目标识别函数, 表示时刻 获取的当前位置, 表示目标物体位置, 表示在时刻 能够获取当前位置 的观察信息, 表示目标物体。
3.根据权利要求1所述的系统,其特征在于,根据视觉增强的感知信息处理与融合模块将深度图像中的环境信息映射为3D点云信息并进一步投影到二维网格地图提取新增标记网格形成初始增量网格,包括:建立二维网格地图表示探索环境,每个网格元素赋予不同含义以区分状态,结合相机内参和外参,将深度图像中像素映射为3D点云信息;将所述3D点云信息投影到二维网格地图时,对超出范围的点云进行过滤,当网格中点云数量超阈值则标记为1表示已探索,再依据点云高度判断是否标记为障碍,最终提取新增标记网格形成初始增量网格;所述将深度图像中的环境信息映射为3D点云信息为: ;其中, 表示深度图像 的像素, 表示相机内部参数, 为外部参数,参数 和 分别表示旋转矩阵和平移向量。
4.根据权利要求1至3任意一项所述的系统,其特征在于,基于视觉模型的目标信息提取模块借助Grounded-SAM视觉模型对RGB图像分析,提取目标物体的视觉线索,包括:采用Grounded-SAM视觉模型对RGB图像进行分析,采用视觉增强的感知信息处理与融合模块的三维点云映射与投影方法,将物体投影到网格地图中,并对分布于多个网格的同一物体进行聚类,得到目标物体可能存在的网格,标识记为 ;根据标记后的网格地图 和初始增量网格 共同构成无人机 在时刻 的增量网格。
5.根据权利要求1所述的系统,其特征在于,所述边界网格识别阶段包括:将所有边界网格从全局地图 中提取出来,当网格 为已探索网格,并且网格 至少有一个邻居为未探索网格时,网格 被识别为边界网格。
6.根据权利要求1所述的系统,其特征在于,所述多阶段任务分配分为快速分配、内部分配和外部分配三个阶段,快速分配时,无人机优先前往附近距离最近的可达兴趣节点或边界节点;内部分配时,无人机前往与之相连的历史节点,需计算收益选择收益最大的历史节点,收益由历史节点的信息增益和无人机前往成本共同决定,信息增益取决于与历史节点相连的平凡边界节点、非平凡边界节点和可达兴趣节点的数量及相应权重,成本由节点间距离衡量;外部分配时,无人机前往与其他无人机相连的历史节点,通过计算收益差距选择收益差距最大的历史节点。
7.根据权利要求1所述的系统,其特征在于,所述基于双层Voronoi图分割的多阶段任务分配模块还用于在完成多阶段任务分配后,通过全局异构动态拓扑图为无人机规划路径,实施离散行动控制,限制每个时刻最大移动距离,若规划路径超长则截断,无人机依指令移动至下一位置后,开启新一轮感知与决策循环。



