1.一种基于MIMO雷达的端到端混合手势意图识别方法,其特征在于,该方法包括:步骤1:利用具有多个发射和接收天线的MIMO毫米波雷达获取连续的多通道雷达样本手势信号数据流;步骤2:对所述数据流中的每一帧数据进行实时处理,生成一个连续的距离-角度特征图序列,并进行标注;步骤3:将所述距离-角度特征图序列输入至一个基于卷积循环神经网络、具有共享主干网络和多个并行任务分支头的多任务神经网络模型,并训练;步骤4:采用训练完成的多任务神经网络模型进行实时识别手势意图。
2.如权利要求1所述的一种基于MIMO雷达的端到端混合手势意图识别方法,其特征在于,所述步骤2的具体方法为:步骤2.1:对每个通道的信号执行一维FFT,得到距离-通道复数矩阵;步骤2.2:对于每个距离单元,首先根据每个通道的复数值构建空间协方差矩阵 ; ;其中, 是所有通道信号组成的列向量, 表示期望;步骤2.3:通过下式计算在不同角度 上的空间谱功率 : ;其中, 是对应角度 的导向矢量,此过程对每一帧数据实时进行,生成一幅高分辨率的距离-角度特征图。
3.如权利要求1所述的一种基于MIMO雷达的端到端混合手势意图识别方法,其特征在于,所述步骤2中的标注方法为:标注内容:对于数据流中的每一帧,都提供两组标签:坐标标签:手部在该帧时刻的真实三维空间坐标;指令标签:如果该帧属于某个离散指令手势,则标签为该指令;否则,标签为“无指令或背景”。
4.如权利要求1所述的一种基于MIMO雷达的端到端混合手势意图识别方法,其特征在于,所述步骤3中的多任务神经网络模型依次包括:主干网络、坐标回归头、动作指令头、意图仲裁模块,所述主干网络依次包括2D-CNN特征提取器和循环神经网络,所述2D-CNN特征提取器为一个二维卷积神经网络,该二维卷积神经网络的输入为距离-角度特征图,输出为紧凑特征向量;所述循环神经网络为门控循环单元或长短期记忆网络,输入为紧凑特征向量;所述循环神经网络的输出分别输入坐标回归头、动作指令头、意图仲裁模块;所述坐标回归头为一个全连接层,用于输出坐标,损失函数为 ;所述动作指令头为一个全连接层连接一个Softmax函数,输出指令的概率分布,损失函数为交叉熵损失函数 ;训练多任务神经网络模型时采用带掩码的多任务损失函数: ;其中, , 是平衡任务的超参数, 是二进制掩码,仅当当前帧的真值标签为某个具体指令时, 才为1,否则为0;所述意图仲裁模块为包含数个全连接层的多层感知机,输出为一个概率分布向量 ,其中 ; 表示当前时刻用户意图为“空间指向”的置信度, 表示当前时刻用户意图为“离散指令”的置信度;训练时的监督信号为数据的标注。
5.如权利要求1所述的一种基于MIMO雷达的端到端混合手势意图识别方法,其特征在于,步骤4中实际检测时根据仲裁模块输出的概率分布来做出最终识别结果;如果 大于等于 ,系统将输出坐标头回归出的坐标;否则,采信指令头的分类结果。