超清阵列视觉计算系统

高端装备与制造-人工智能、城市治理、轨道交通

创新点一：成功研制了跨尺度多镜头计算成像技术架构的亿像素阵列计算相机，克服传统光学成像技术中视场角和分辨率之间不可逾越的矛盾，成像分辨率提高两到三个数量级。 自主研发的亿像素阵列计算相机采用跨尺度多镜头计算成像技术架构（一个光场相机+N个长焦距局部相机），同步实现“广、远、清”的全景实景超清大视场，克服了传统光学成像技术中视场角和分辨率之间不可逾越的矛盾，革命性的将成像分辨率提高两到三个数量级。亿像素阵列计算相机最高可达10亿+像素，实现平方公里级全场景、全细节、全时段、超高清的监控、回溯和分析。下图是与目前海康最高端的全景摄像机的性能对比。阵列计算相机采用了一个主镜头加多个微型镜头的组合。这种结构使得相机能够在保持高分辨率的同时，实现大视场角的图像捕获。每个微型镜头都能捕捉到不同的图像信息，这些信息被整合处理，形成最终的高清晰度图像，亿像素阵列计算相机可极大提升广域全景视频的高清回溯和智能分析能力。 创新点二：研究高性能视频拼接融合技术，实现了高通量、无畸形和低时延的图像拼接效果，可同步实现“广、远、清”的全景实景超清大视场监控。 新一代阵列计算全景相机基于高通量视频拼接融合技术，采用不同焦距镜头与排列拼接组合，满足客运站、货运站、编组站及铁路沿线防护等不用应用场景全景监控需求，在铁路行业广泛应用于各领域。针对实时融合拼接数十个4K高清镜头，编解码、拼接工作的实时计算量巨大的问题，研发基于GPU并行优化的全景视频拼接框架和算法，优化利用GPU指令的块、线程和流并行策略，可支持最多108个4K镜头的实时、高精度、低功耗拼接，解决高通量下实时计算视觉融合拼接算法的性能优化问题。不同镜头拍摄图像存在不同步和视差，拼接后会出现图形畸变，导致物体边界模糊或角度改变且图像重叠部分需要剪裁、拼接，容易出现重影、黑缝隙、鬼影等众多问题，研发高性能的图像校正算法（视差消除）和图像特征点匹配算法（消除重影、鬼影），实现多图超高分辨拼接图像重建效果，解决视频拼接中的视差消除和拼接精确度等问题。研发基于边缘计算和流转播的双重带宽消减框架，其中：阵列相机端集成MLMS SOC芯片，可降低15%-20%传输带宽（前端到服务器），用户端采用基于按需访问和注意力调整机制，可降低80%-95%传输带宽，支持更多并发数（服务器到用户端），解决高清全景视频传输过程中的高带宽占用问题。打破车站传统监控碎片化问题，在车站重点区域部署阵列计算视觉装备，利用高通量视频拼接融合技术，打造车站全域全景超高清无死角覆盖，支持多部门多用户并发视频协同共享。 创新点三：利用图像滑窗研发支持超高清超大尺寸实时视频流、面向铁路领域的高性能AI视频分析算法，解决了传统监控算法覆盖范围窄、缺乏整体态势分析等问题。 系统加载了客流人数统计分析、客流热力图分析、客流密度统计分析、扶梯排队拥堵分析及预警等算法实现重点区域的人员异常行为报警。基于大幅面超高清全景图像，利用人工智能+视觉智能分析技术，面向白云站不同应用场景提供数十种高性能全景AI视频分析算法，实现7*24小时智能化监管，提升车站智能化管理水平。 超大维度AI视频分析算法相对于传统视频监控算法，革命性的解决了传统监控算法覆盖范围窄、算法识别距离近、视频分析误报率高、缺乏整体态势分析、视频溯源缺乏智能化的顽疾。设备支持超远距离图像捕捉，可识别距离远，为远距离算法识别奠定基础；基于超高清像素码流，为算法精准性提升提供技术支持；一套设备采集画面相当于72套传统枪机监控设备，为更快的AI视频分析提供技术支撑。 创新点四：以超大尺寸全景实景高清视频为底图，融合多设备数据研制成功了全景视频数字孪生智能车站系统，融合车站业务数据建立主题驾驶舱，提升数智决策能力。 全景视频数字孪生技术颠覆了现有数字孪生测绘建模成本高、模型静态化、实战应用差的痛点，基于阵列计算视觉全景亿级像素超高清图像为底图，利用AR空间电子标签技术，全面接入联动普通摄像头、重点设施设备、业务大数据和预报警信息，构架全景态势感知总览图，直观展现当前区域总体态势和高清细节视图。阵列相机可融合低点视频画面，形成高低点视频画面融合，有效弥补低点监控盲区；全景实景高清阵列视频底图上可融合已建的物联网传感器数据，实现物联网监测数据动态视频融合联动。

市场前景： 超清阵列视觉系统是一款创新的安防产品，依托于高清镜头组合与阵列计算视觉技术，达到亿级像素视频图像输出。不仅实现了全景、全视角、高清覆盖，还支持快速回放追溯和任一区域高清细节播放。此外该系统内置多种先进的算法，可进行区域客流统计、智能目标识别和异常行为分析等，有助于站点的智能管理和决策。通过在高铁客运枢纽站、铁路沿线、编组站及大型货运枢纽站场、大型交通施工现场等重点区域部署亿像素阵列计算视觉装备和智能车站全景视频孪生系统，实现枢纽站整体运行态势的实时掌控，融合低点视频、物联感知和业务管理等多维度时空大数据，建设决策管理驾驶舱，同时，开发10亿像素级全景智能视频分析算法集合，以及全景与低点视频资源的智能联动分析，从而建立面向铁路枢纽站场建设和数智化运维的可视化的新一代全景视频孪生管理模式。 项目成果物已在广州白云站成功应用，取得了良好的经济和社会效益，是国际首个全景视频和数字孪生技术相结合的高铁客站数智化应用案例，同时在上海南站也进行了应用。随着国家铁路建设的开展，以及加快国际市场“走出去”的步伐，该产品仍具有较大市场前景，可创造更大的效益。本项目成果可有效提升铁路客货站场、沿线及施工现场等关键场景的安全生产监管、应急响应和精细化治理水平，同时在其他相关领域也具有广阔的推广前景。-在行业领域的水平： 国内外阵列计算视觉技术和前端装备的研发逐渐兴起。美国研究机构最早实现了由200个镜头组成的，超过10亿像素的阵列计算相机。国际上知名的Google Jump和Facebook Surround 360也具备类似的功能，它们通过多个相机拼接来创建立体全景视频。我国在此领域技术基本处于世界前列，包含48镜头，总像素超过3亿的阵列计算相机已经具备商用能力。上海安科迪公司自主研发的基于亿像素的AI+Magixoom智能复眼阵列摄像机，在远距离、大场景、超高清晰视频感知方面具有独特优势，广泛应用于安防、军工、智慧机场等多个领域。拙河科技的LCM系列多焦距阵列计算摄像机适用于需要对较长纵深区域内多个目标进行实时动态监控的场合，如道路桥梁、人员通道、园区周界等。还有复瞰科技和泰邦泰平公司的阵列相机也都采用计算成像技术实现大范围的监控应用。自研的产品主要在产品性能上具备优势，在成像拼接的图像质量细节上以及传输方式上具备优势，同时我们已经在项目中成熟应用，对于前端设备的选点及部署方式、针对亿级像素超清大码流的视频分析算法、以全视角高清视频为基底的多源数据关联方式、以及与车站运营管理业务场景的有效结合均具有优势。

主要功能： 1.提升车站的安全监控：超清阵列视觉系统解放了用户长期循环切屏凝视监控的职业弊端，大大提升用户的监控视觉体验；智能车站全景视频孪生系统独特的全时空回溯特点，即使无人值守，事后依然可通过回看功能实现任意区域变焦放大（数字变焦）查看，使重要场景监控万无一失。 2.优化运营管理能力：超清阵列视觉系统能够对车站内的视频进行实时监控和分析，及时发现重要信息、异常事件和异常行为，有效预防安全事故的发生。 3.降低安装运维成本：超清阵列视觉系统在前端设备部署实施上可以节省大量安装架设成本、以及后期运维成本。针对大型区域，1台可替代传统20余台枪型摄像机。-核心技术： 1、将多个4K高清镜头（800万像素）的局部镜头以MXN阵列的形式排列，每个镜头采用特定的角度，以及相同且固定的焦距采集视频数据。另外，还有一个4K高清镜头（800万像素）作为光场镜头，负责为局部镜头矫正。 2、所有镜头采集到的视频数据在前端进行编码，并通过高性能网络传输模块实时传送至后端。 3、视频融合拼接服务一体机内置多块GPU卡，对收到的所有高清视频码流进行实时拼接融合，形成亿像素的全景超高清码流，具体步骤如下：  对各个局部相机码流进行解码处理；  借助光场相机，对各个局部相机码流进行图像处理，包括去噪、色彩/对比度/饱和度/锐度调整；  对各个局部相机码流进行多图像标定和投影变换，为拼接做好准备；  对各个局部相机码流进行实时拼接融合，重点解决性能问题；  对拼接完成后的全景视频码流进行质量增强；  对拼接完成后的全景视频进行编码，并开展网络传输或存储； 4、全景视频智能分析一体机内置面向行业的全景超清视频算法集和算力仓，实现针对不同行业和应用场景的全景视频解决方案。 5、智能车站全景视频孪生系统主要包括全景监控、智能分析、协同联动、时空追溯应用模块。

获奖情况： 2024年度中国交通运输协会科技进步奖二等奖、2024年第三批首台(套）重大技术装备目录-落地应用： 广州白云站和上海南站

无

在我国车站的数智化转型中，传统前端设备及监控系统的弊端已经逐渐凸显，例如监控视场角及分辨率受限，画面细节不清晰、视频资源大量碎片化监控，视频内容无法全局掌控、以及各种监测手段割裂，未能有效整合，通信信息集团有限公司研发的超清阵列视觉计算系统，将多个高清镜头组合成为亿级像素阵列相机，并通过计算视觉技术进行拼接融合，能够实现全景、全视角、高清覆盖，支持任意区域高清细节播放，进而实现多源数据叠加、全局态势感知和智能分析预警。通过应用场景引领，建立基于全景高清视频的新一代高铁站和城市的可视化管理新模式，助力车站和智慧城市整体管理水平的全面提升。