基于多模态融合SAM大模型的轨道交通沿线异物入侵监测报警系统研制及示范

信息传输、软件和信息技术服务业

城市科技与精细化管理

北京市科学技术委员会;中关村科技园区管理委员会

一、科技成果来源 本成果源自北京市科技计划项目“基于多模态融合SAM大模型的轨道交通沿线异物入侵监测报警系统研制及示范”，由通号通信信息集团有限公司承担研发。课题响应国家“十四五”规划中“以通用大模型为基础打造行业大模型”的战略部署，聚焦轨道交通沿线安全防护痛点，针对传统监测手段多模态信息融合不足、复杂场景检测准确率低等问题，融合前沿大模型技术与多模态感知手段，构建了"Al+轨道交通”的生产级应用示范体系，旨在破解行业安全防护智能化瓶颈。 二、技术原理 成果以多模态融合SAM大模型为核心，构建了"视觉+雷达+振动”三维感知架构，通过分层建模与协同融合实现异常入侵精准检测。视觉模块依托SAM系列开放类别图像分割模型与目标检测模型，提取目标语义特征与外观信息，结合复杂气象环境下图像恢复算法与暗光增强技术，适配恶劣光照条件；雷达模块通过点云体素化、3D特征提取与双阶段检测精炼，提供精准空间坐标与距离约束;振动传感器模块基于Transformer编码器捕捉时序特征，实现物理事件真实性验证。多模态融合采用“分阶段加权”策略：第一阶段实现视觉与雷达的空间特征对齐，第二阶段融入振动信号的事件级验证，通过跨模态交叉注意力机制与动态权重调整，整合语义、几何与物理特征优势，形成“感知-分析-决策-预警”的闭环监测体系。同时通过模型蒸馏微调、量化压缩及硬件加速技术，确保大模型在边缘设备上高效部署。 三、关键性技术指标 (一)算法指标 正常光照条件下，200米范围内人员入侵检测准确率达96.45%，50米范围内落石检测准确率达90.24%，200米范围内火车检测准确率达96.5%；在黑暗、雨雪、雾气等恶劣天气条件下，上述三类目标的平均检测准确率可达87.8%，为正常光照条件下检测准确率的90%以上。2025年9月4日，该成果相关算法在国际权威的MSCOCO数据集实时目标检测榜单中位列第14名，彰显了算法的核心技术优势。 （二）系统指标 防区内入侵事件发生至报警的平均延迟不超过3秒，其中事件发生至检测识别完成平均用时1秒，检测识别完成至发出报警信号平均用时1.903秒;各模态检测耗时优化至最优水平，其中图像检测耗时20.04ms，雷达检测耗时30.04ms，振动传感器检测耗时9.96ms。根据接入模态的数量差异，单台智能分析设备可支撑8-16路监测场景的并行分析处理，具备每个监测场景1-3维多模态数据输入(即1-3种模态数据同步接入)、各模态独立分析结果输出及多模态融合预警信息输出的全功能适配能力。 四、应用前景 该成果适用于国铁集团普速铁路、高速铁路、城际铁路及城市轨道交通等全制式线路，核心应用于桥梁隧道进出口、高陡边坡、站场咽喉区、地质灾害易发区段等关键区域，可实现人员入侵、落石/泥石流、非法闯入等异常事件的全天候监测。目前已在北京局、昆明局、哈尔滨局、广州局等多家铁路局示范应用，有效缩短应急处置时间，提升安全保障水平。未来可拓展至公路边坡监测、水利枢纽防护、园区周界安防等跨行业场景，通过标准化体系建设与产业化推广，构建“核心技术+场景插件”的模块化架构，为轨道交通及相关领域提供高效智能的安全防护解决方案，推动交通运输行业智能化转型升级，具有显著的社会经济效益与广阔的市场推广前景。