基于毫米波-视觉融合的多目标液体种类快速检测方法

1.一种基于毫米波-视觉融合的多目标液体种类快速检测方法，其特征在于：所述多目标液体种类快速检测方法包括如下步骤：步骤1、获取多模态数据：在检测场景中，使用毫米波雷达获取多目标的毫米波反射信号，并同步获取多目标图像的图像数据；步骤2、图像目标检测与辅助标签的生成：对步骤1获取的多目标图像的图像数据进行目标检测，生成单目标位置边界框中心坐标，同时提取每个目标图像容器特征 ；步骤3、毫米波雷达信号的多目标分离：将步骤2得到的单目标位置边界框中心坐标用于辅助毫米波雷达信号波束成形，实现毫米波雷达信号的多目标分离，得到分离出来的单目标毫米波原始信号；步骤4、单目标的毫米波雷达数据处理：对分离出来的单目标毫米波原始信号的每个啁啾进行分段处理，针对每个子啁啾信号，采用快速傅里叶变换以获取单目标在距离维度上的频谱特征，对毫米波雷达探测到的距离范围进行分格处理，提取单目标所在位置对应格子的前后共n个格子的幅度谱与相位谱，并对单目标构建张量，得到处理后的单目标毫米波雷达数据；步骤5、单目标的毫米波雷达双分支特征提取：将处理后第 个单目标毫米波雷达数据即张量并行输入两个结构相同但参数独立的编码器，即第一编码器和第二编码器，进行特征提取后输出液体分类特征 和容器特征 ，在训练第二编码器时，步骤2生成的每个目标图像容器特征 作为辅助标签辅助弱监督训练；步骤6、基于互信息的特征解耦：在液体分类特征 和容器特征 之间引入解耦约束项，实现液体分类特征 和容器特征 的解耦；步骤7、基于液体分类特征 输出单目标液体分类结果：基于步骤5输出的液体分类特征 作为输入，送入Transformer模块中，经Transformer模块编码后，输出特征通过全连接分类器进行非线性映射，生成对应液体种类的预测分数，最终以文本形式输出单目标液体分类结果；步骤8、多个目标分类的整合输出：对所有单目标液体分类结果进行统一整合以可视化形式输出。 2.根据权利要求1所述的基于毫米波-视觉融合的多目标液体种类快速检测方法，其特征在于：所述步骤1具体包括如下步骤：步骤1.1、通过毫米波雷达获取多目标的毫米波反射信号，所述多目标的反射信号包括毫米波雷达数据的幅值与相位信息，毫米波雷达为调频连续波雷达，发射频率范围77GHz-81GHz；步骤1.2、同时，摄像头以30fps的帧率获取与毫米波雷达数据同步的多目标图像的图像数据，其中摄像头和毫米波雷达需要覆盖同一空间场景中的同一目标区域。 3.根据权利要求1所述的基于毫米波-视觉融合的多目标液体种类快速检测方法，其特征在于：所述步骤2具体包括如下步骤：步骤2.1、将多目标图像的图像数据进行尺寸调整；步骤2.2、使用YOLOv11模型对尺寸调整后的多目标图像进行目标检测，并输出所有单目标位置边界框中心坐标；步骤2.3、使用YOLOv11模型的特征提取器，对多目标图像中每个目标的容器特征进行提取，得到第 个目标图像容器特征 。 4.根据权利要求1所述的基于毫米波-视觉融合的多目标液体种类快速检测方法，其特征在于：所述步骤3具体包括如下步骤：步骤3.1、空间坐标对齐：将步骤2获得的单目标位置边界框中心坐标，通过双目视觉-雷达联合标定矩阵转换至雷达极坐标系，建立单目标位置边界框中心坐标与雷达波束指向的映射关系，并得到单目标方位角信息；步骤3.2、自适应波束成形：基于步骤3.1获取的单目标方位角信息，生成具有空间选择性的接收波束，每个所述接收波束主瓣对准一个目标液体，同时抑制来自环境中目标液体之外的物体的干扰信号；步骤3.3、多通道信号分离：对步骤1毫米波雷达获取多目标的毫米波反射信号进行空域滤波，为每个单目标生成独立的信号通道，得到分离出来的单目标毫米波原始信号。 5.根据权利要求1所述的基于毫米波-视觉融合的多目标液体种类快速检测方法，其特征在于：所述步骤4中，对分离出来的单目标毫米波原始信号的每个啁啾进行分段处理，并对每个子啁啾进行快速傅里叶变换，具体包括如下步骤：步骤4.1、毫米波雷达采用调频连续波技术感知周围多目标，在一个啁啾的快速时间周期内连续发射毫米波雷达信号，发射信号的频率 为： ；其中， 是起始频率， 是调频斜率， 是时间；多目标反射信号的频率为： ；其中， 是雷达到目标的距离， 是光速；步骤4.2、多目标反射信号被毫米波雷达接收后，将发射信号与接收信号即反射信号混频得到中频信号，中频信号的频率 为： ；其中， 是调频斜率；步骤4.3、在调频斜率 固定的情况下，中频信号的频率 只与毫米波雷达到目标的距离 有关，通过对中频信号的频率 进行快速傅里叶变换，得到处理后的单目标毫米波雷达数据，当目标为液体时，液体的反射信号强度为： ；其中， 是发射信号强度， 是发射天线增益， 是接收天线增益， 是毫米波波长， 是液体的反射系数；步骤4.4、液体的反射系数 、液体的折射率 和容器材料的折射率 关系表示为： ；容器材料的折射率与液体的介电常数 表示为： ；其中， 是介电常数的实部， 是介电常数的虚部，在高频条件下；液体的介电常数 与电磁频率 之间的关系表示为： ；其中， 是高频下的介电常数， 是静态即零频率下的介电常数， 是中间频率处的介电常数， 和 分别是两个弛豫时间常数。 6.根据权利要求1所述的基于毫米波-视觉融合的多目标液体种类快速检测方法，其特征在于：步骤5的双分支特征提取具体为：第一编码器对目标的内部液体进行特征提取，以液体种类为标签进行有监督训练，输出第 个液体分类特征 ，第二编码器对目标的多目标图像进行特征提取，在步骤2提供的辅助标签监督下进行弱监督训练，输出第 个容器特征 。 7.根据权利要求6所述的基于毫米波-视觉融合的多目标液体种类快速检测方法，其特征在于：所述步骤6具体包括如下步骤：步骤6.1、输出的第 个液体分类特征 和容器特征 分别为 与 ，则正交损失表示为 ： ；其中， 是样本数， 是特征维度， 是Frobenius范数，是衡量液体分类特征 和容器特征 表示之间的整体非正交程度；步骤6.2、最小化正交损失 ，使液体分类特征 和容器特征 分在特征空间中保持正交即互相独立，实现液体分类特征 和容器特征 的解耦： ；其中， 表示互信息，用于度量液体分类特征 和容器特征 之间的依赖性或关联性。 8.根据权利要求1所述的基于毫米波-视觉融合的多目标液体种类快速检测方法，其特征在于：所述步骤7中的Transformer模块包括单层编码器、多头注意力子层与前馈神经网络子层，其中多头子注意力子层： ；其中， 是每个注意力头： ；其中， 是查询矩阵， 是键矩阵， 是值矩阵， 是一个线性变换矩阵；前馈神经网络子层： ；其中， 是输入特征即液体分类特征 向量， 是第一层权重矩阵， 是第二层权重矩阵， 是第一层偏置向量， 是第二层偏置向量；在多头注意力子层与前馈神经网络子层之间引入残差连接与层归一化机制，得到即将送入分类器的特征表示 ： ； ；其中， 是经过多头自注意力和残差连接的特征。 9.根据权利要求1所述的基于毫米波-视觉融合的多目标液体种类快速检测方法，其特征在于：步骤8具体包括如下步骤：步骤8.1、步骤7的单目标分类结果与步骤2中多个目标单独的位置边界框进行对齐整合，成包含空间位置信息与分类属性的目标识别记录，每条记录结构化表达为： ；其中， 是图像中目标 的单目标位置边界框中心坐标， 是单目标框选的置信度， 为步骤7所述的单目标液体分类结果， 为单目标液体分类结果置信度；步骤8.2、结果可视化：在终端设备生成所有单目标液体分类结果的可视化界面，将步骤8.1中的结构化表示作为可视化输出的标签，确保输出内容的对应性，直观显示各个目标的图像、液体分类、识别置信度的信息。