有效
一种基于仿生视觉的目标探测方法、装置、设备及介质
付跃刚、桂云霆、肖学明
长春理工大学
摘要
本申请公开了一种基于仿生视觉的目标探测方法、装置、设备及介质,涉及人工智能技术领域,包括:获取采集到的目标光谱信息以及目标偏振信息图;构建目标光谱信息对应的光谱特征金字塔,并确定目标偏振信息图对应的目标偏振特征,以及基于光谱特征金字塔和目标偏振特征生成目标多模态融合特征;基于目标多模态融合特征生成目标空间关注图,并生成目标特征张量图;基于目标空间关注图和目标特征张量图生成相应的目标增强特征;基于流形学习方法、李群运算、目标增强特征和目标空间关注图构建相应的目标特征表示空间,并对目标特征表示空间进行解码得到相应的目标探测结果。这样一来,本申请能够提升在复杂环境下目标探测的准确率与抗干扰能力。
1.一种基于仿生视觉的目标探测方法,其特征在于,包括:通过模拟虾蛄的生物学感知机制并基于神经网络构建目标仿生探测模型,在利用所述目标仿生探测模型对环境中的目标进行探测的过程中,获取采集到的目标光谱信息以及目标偏振信息图;构建所述目标光谱信息对应的光谱特征金字塔,并确定所述目标偏振信息图对应的目标偏振特征,以及利用预设特征级联方法基于所述光谱特征金字塔和所述目标偏振特征生成目标多模态融合特征;基于预设递归分形划分机制和所述目标多模态融合特征生成目标空间关注图,并基于跨尺度融合注意力机制生成目标特征张量图;通过残差跳跃连接和通道注意力机制,并基于所述目标空间关注图和所述目标特征张量图生成相应的目标增强特征;基于流形学习方法、李群运算、所述目标增强特征和所述目标空间关注图构建相应的目标特征表示空间,并对所述目标特征表示空间进行解码得到相应的目标探测结果。
2.根据权利要求1所述的基于仿生视觉的目标探测方法,其特征在于,所述构建所述目标光谱信息对应的光谱特征金字塔,并确定所述目标偏振信息图对应的目标偏振特征,包括:利用第一预设尺寸的感受野卷积核提取所述目标光谱信息中各波段的局部光谱特征,并基于所述通道注意力机制和所述局部光谱特征生成光谱特征张量;对所述光谱特征张量进行多尺度卷积操作、批归一化操作和非线性激活操作,以生成所述目标光谱信息对应的所述光谱特征金字塔;对所述目标偏振信息图进行多角度卷积操作,以提取所述目标偏振信息图的偏振角度和偏振度特征;通过所述通道注意力机制,对所述偏振角度、所述偏振度特征和所述目标偏振信息图进行自适应加权,以生成所述目标偏振信息图对应的所述目标偏振特征。
3.根据权利要求1所述的基于仿生视觉的目标探测方法,其特征在于,所述利用预设特征级联方法基于所述光谱特征金字塔和所述目标偏振特征生成目标多模态融合特征,包括:将所述光谱特征金字塔与所述目标偏振特征进行通道级联,以得到第一多模态融合特征,并利用第二预设尺寸的卷积核对所述第一多模态融合特征对应的通道进行压缩得到第二多模态融合特征;基于多头注意力机制对所述第二多模态融合特征进行融合,以生成所述目标多模态融合特征。
4.根据权利要求1所述的基于仿生视觉的目标探测方法,其特征在于,所述基于预设递归分形划分机制和所述目标多模态融合特征生成目标空间关注图,并基于跨尺度融合注意力机制生成目标特征张量图,包括:基于图像金字塔递归分割所述目标多模态融合特征得到若干尺度的目标分形窗口,并对各所述目标分形窗口对应的像素特征进行降维聚合,以得到各所述目标分形窗口对应的目标集群向量;其中,所述目标分形窗口为所述目标多模态融合特征的局部区域;基于所述目标集群向量对应的所述目标分形窗口的尺度划分所述目标集群向量得到初始向量子集,并基于所述目标集群向量对应的颜色通道划分所述初始向量子集中的所述目标集群向量得到目标向量子集;利用预设并行注意力头分别计算所述目标向量子集的自注意力权重,并基于第一预设可学习缩放参数动态调节所述预设并行注意力头对应的贡献度,以及基于所述贡献度对所述自注意力权重进行加权求和得到目标掩码张量;基于所述目标集群向量和所述目标掩码张量生成所述目标多模态融合特征对应的目标空间关注图,并基于所述跨尺度融合注意力机制和所述目标掩码张量生成所述目标特征张量图。
5.根据权利要求1所述的基于仿生视觉的目标探测方法,其特征在于,所述通过残差跳跃连接和通道注意力机制,并基于所述目标空间关注图和所述目标特征张量图生成相应的目标增强特征,包括:对所述目标特征张量图进行平移,并确定平移前的所述目标特征张量图和平移后的所述目标特征张量图之间的差分特征图;对所述差分特征图进行卷积操作、批归一化操作和非线性激活操作,以生成所述差分特征图对应的残差映射特征,并利用所述预设特征级联方法基于所述残差映射特征和所述平移前的所述目标特征张量图生成第一特征;对所述平移前的所述目标特征张量图进行局部对比处理得到局部对比图,并基于预设卷积块对所述局部对比图进行特征增强,以及通过所述通道注意力机制对增强后的所述局部对比图进行处理得到第二特征;基于所述目标空间关注图生成注意力权重,并根据第二预设可学习缩放参数、所述残差跳跃连接和所述注意力权重对所述第一特征和所述第二特征进行特征融合得到第三特征,以及基于门控机制和所述第三特征生成所述目标增强特征。
6.根据权利要求1至5任一项所述的基于仿生视觉的目标探测方法,其特征在于,所述基于流形学习方法、李群运算、所述目标增强特征和所述目标空间关注图构建相应的目标特征表示空间,并对所述目标特征表示空间进行解码得到相应的目标探测结果,包括:获取当前环境下的场景感知信息,并对所述目标增强特征和所述目标空间关注图分别进行分布估计,得到所述目标增强特征对应的第一分布估计信息以及所述目标空间关注图对应的第二分布估计信息;通过所述李群运算,并基于所述场景感知信息、所述第一分布估计信息和所述第二分布估计信息构建目标李群空间;基于所述流形学习方法,在所述目标李群空间中建立所述第一分布估计信息和所述第二分布估计信息对应的目标流形结构;基于所述目标李群空间和所述目标流形结构构建所述目标特征表示空间,并对所述目标特征表示空间进行解码得到相应的所述目标探测结果。
7.根据权利要求6所述的基于仿生视觉的目标探测方法,其特征在于,所述基于所述目标李群空间和所述目标流形结构构建所述目标特征表示空间,并对所述目标特征表示空间进行解码得到相应的所述目标探测结果,包括:利用所述目标李群空间和所述目标流形结构对所述目标增强特征、所述第一分布估计信息和所述第二分布估计信息进行交互得到目标交互特征;对所述目标交互特征进行图卷积操作,并对图卷积后的所述目标交互特征进行特征重构,以得到所述目标特征表示空间;利用预设解码器对所述目标特征表示空间进行解码处理,以得到相应的所述目标探测结果。
8.一种基于仿生视觉的目标探测装置,其特征在于,包括:信息采集模块,用于通过模拟虾蛄的生物学感知机制并基于神经网络构建目标仿生探测模型,在利用所述目标仿生探测模型对环境中的目标进行探测的过程中,获取采集到的目标光谱信息以及目标偏振信息图;目标多模态融合特征生成模块,用于构建所述目标光谱信息对应的光谱特征金字塔,并确定所述目标偏振信息图对应的目标偏振特征,以及利用预设特征级联方法基于所述光谱特征金字塔和所述目标偏振特征生成目标多模态融合特征;目标特征张量图生成模块,用于基于预设递归分形划分机制和所述目标多模态融合特征生成目标空间关注图,并基于跨尺度融合注意力机制生成目标特征张量图;目标增强特征生成模块,用于通过残差跳跃连接和通道注意力机制,并基于所述目标空间关注图和所述目标特征张量图生成相应的目标增强特征;目标探测结果确定模块,用于基于流形学习方法、李群运算、所述目标增强特征和所述目标空间关注图构建相应的目标特征表示空间,并对所述目标特征表示空间进行解码得到相应的目标探测结果。
9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器;其中,所述存储器用于存储计算机程序,所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的基于仿生视觉的目标探测方法。
10.一种计算机可读存储介质,其特征在于,用于保存计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于仿生视觉的目标探测方法。



