摘要
本发明公开的一种基于双引擎协同的跨模态烟雾遮挡人体识别方法及设备,采用MambaPPA‑MuYolo模型实验对浓烟环境下的人体识别;使用基于SECycleGAN的多模态数据预处理框架对数据进行去烟处理,优化浓烟环境下人体检测效果;模型架构中主干网络使用双支数据加载,充分融合双模态下的特征信息,颈部网络为BIFPN多尺度融合的特征金字塔结构,并将包含局部空间多核注意力分支与基于选择扫描的状态空间模型的GT‑Mamba特征信息获取模块与多个提高小目标检测的多分支特征提取模块PPA嵌入到Neck模块中,用于增强空间信息的捕获和改善不同层间的信息交互能力;本发明优化模型性能使模型在浓烟恶劣的环境下精准度有着大幅度的提升,为消防救援提供了可靠的技术支持。