有效
一种可伸缩视觉计算系统
高文、王耀威、白鑫贝、纪雯、田永鸿
鹏城实验室
摘要
本发明公开了一种可伸缩视觉计算系统,其特征在于,包括依次建立通信连接的前端设备、边缘服务以及云服务;所述前端设备,用于对采集的影像数据进行智能化分析处理,并根据配置相应地输出压缩视频流、特征编码流和结构化结果流;所述边缘服务,用于接收并存储所述前端设备发送的压缩视频流、特征编码流和结构化结果流,实时输出特征编码流和结构化结果流汇聚到云服务,根据云服务的数据调取指令按需输出压缩视频流至云服务;所述云服务,用于实时接收和汇聚边缘服务输出的特征编码流和结构化结果流,从所述边缘服务按需调取压缩视频流。本发明通过端、边、云三者之间优化分工和有机协作,实现对海量视频数据的实时处理和有效利用。
1.一种可伸缩视觉计算系统,其特征在于,包括依次建立通信连接的前端设备、边缘服务以及云服务;所述前端设备,用于感知和采集场景视觉信息得到影像数据,对所述影像数据进行视频图像处理、特征编码处理以及智能化分析处理,并将处理结果和前端设备标识信息、时间信息以及空间信息进行封装得到压缩视频流、特征编码流和结构化结果流,根据配置相应地输出所述压缩视频流、特征编码流和结构化结果流;还用于按照固定节拍上报自身的状态信息给所述边缘服务,并接收所述边缘服务下发的控制指令和模型流,完成对自身工作参数的配置和模型更新,所述控制指令包括设备控制指令和功能定义指令;所述边缘服务,用于接收并存储所述前端设备发送的压缩视频流、特征编码流和结构化结果流,实时输出特征编码流和结构化结果流汇聚到云服务,根据云服务的数据调取指令按需输出压缩视频流至云服务;还用于接收和处理前端设备上报的节点接入管理指令并更新设备管理列表,还用于上报前端设备和边缘服务的状态信息给云服务,接收前端设备的模型查询指令并转发至云服务,接收云服务下发的模型流和控制指令,并将所述模型流和控制指令下发至所述前端设备,所述控制指令包括设备控制指令和功能定义指令;还用于根据定义的功能任务,完成多节点联动系统组织方案生成、数据信息配置方案规划、协同工作调度、影像数据处理分析、数据协同分析和联合优化的工作;所述云服务,用于实时接收、存储和汇聚边缘服务输出的特征编码流和结构化结果流,从所述边缘服务按需调取压缩视频流;还用于存储用于支撑各类应用的算法模型,对算法生命周期和更新流程进行管理,接收所述边缘服务或前端设备发送的模型查询指令,相应地返回模型查询结果或模型流,根据触发情况随机地发送控制指令,接收及响应第三方用户需求指令;还用于进行大数据分析与挖掘以及仿真计算,执行多边协同任务;还用于接收边缘服务上报的设备状态信息,对所有节点进行配置管理、功能定义和资源协同调度。
2.根据权利要求1所述可伸缩视觉计算系统,其特征在于,所述前端设备包括时空确定模块、影像采集模块、影像处理模块、智能计算模块、设备控制与数据交互模块;其中,所述时空确定模块用于获取前端设备统一的时间信息,保持前端设备之间的时间同步,确定前端设备的位置、速度、姿态信息,并将时空信息实时提供给前端设备的其他模块用于计算和传输,接收设备控制与数据交互模块发送的控制指令,完成对自身工作参数的配置;所述影像采集模块用于影像数据的采集与转换,并将所述影像数据发送给所述影像处理模块;所述影像处理模块用于对影像数据进行前处理、压缩、编码、转码处理,输出携带时间戳信息的压缩视频流至所述设备控制与数据交互模块,还用于将前处理后的影像数据输出至智能计算模块,接收设备控制与数据交互模块发送的控制指令,完成对处理参数的配置;所述智能计算模块用于对影像数据进行结构化分析、特征提取和特征编码,输出特征编码流和结构化结果流至设备控制与数据交互模块,所述智能计算模块还用于接收控制指令,所述控制指令包括参数配置指令和功能定义指令,接收模型流并动态更新算法模型;所述设备控制与数据交互模块用于将接收的时间信息、空间信息、压缩视频流、图片、特征编码流和结构化结果流进行打包和封装,发送至边缘服务,接收和解析边缘服务或云服务下发的模型流和控制指令,将所述模型流和控制指令发送给相应的处理模块;还用于完成前端设备的工作流程控制、设备控制、状态监控、模型更新以及传输控制,获取设备的工作状态和标识信息。
3.根据权利要求1所述的可伸缩视觉计算系统,其特征在于,所述边缘服务包括综合控制模块、流媒体模块、数据存储模块以及计算处理模块;其中,所述综合控制模块用于接收前端设备的上报数据或指令,控制其响应过程,将所述特征编码流和结构化结果流实时推送给云服务,接收并转发云服务下发的控制指令或模型流,管理前端设备的接入流程与状态,监听前端设备状态,对于多个前端设备之间的协同工作方式进行调度;所述流媒体模块用于接收所述压缩视频流,对所述压缩视频流进行转码、截取和打包;所述数据存储模块用于接收所述流媒体模块的压缩视频流、前端设备上报的特征编码流和结构化结果流,并将所述压缩视频流、特征编码流和结构化结果流进行分类存储和管理,接收云服务下发的压缩视频流或图片调取指令并按条件检索返回压缩视频流或图片至云服务;所述计算处理模块用于根据定义的功能任务,完成多节点联动系统组织方案生成、影像数据处理分析、多节点数据协同分析和联合优化的工作。
4.根据权利要求3所述的可伸缩视觉计算系统,其特征在于,所述数据存储模块包括存取管理子模块、数据检索子模块、数据库子模块;其中,所述存取管理子模块用于支持数据输入、保存以及调取操作;所述数据检索子模块用于数据查询、检索操作;所述数据库子模块用于对结构化数据或非结构化数据进行存储。
5.根据权利要求4所述的可伸缩视觉计算系统,其特征在于,所述数据库子模块包括视频文件库、图片文件库、特征文件库、结构化特征库以及结构化结果库;其中,所述视频文件库用于存储视频流数据及其摘要信息;所述图片文件库用于存储图像格式文件数据及其摘要信息;所述特征文件库用于存储非结构化特征流数据及其摘要信息;所述结构化特征库用于存储结构化特征数据;所述结构化结果库用于存储结构化结果数据。
6.根据权利要求1所述的可伸缩视觉计算系统,其特征在于,所述云服务包括中央控制模块、计算仿真模块、数据分析模块、数据中心模块、算法模型仓库和用户交互模块;其中,所述中央控制模块用于对系统内所有节点进行配置管理和资源调度,对数据流、控制流和模型流的传输控制过程进行统一管理,向前端设备下发设备控制、功能定义、模型更新命令,向边缘服务下发任务,接收及处理边缘服务的数据上报指令和状态上报指令;所述计算仿真模块用于结构化分析处理、仿真预测、模型训练、模型联合优化、协同策略生成,输出计算结果;所述数据分析模块用于接收特征编码流和结构化结果流,或根据用户指令在数据中心模块检索和调取数据,汇聚大数据信息,进行分析与挖掘,提取出高层语义信息返回给用户;所述数据中心模块用于按需从边缘服务调取压缩视频流或图片,用于特征编码流、结构化结果流和按需调取的压缩视频流或图片的存储、检索和调取输出;所述算法模型仓库用于算法模型的存储、查询、下发流程以及生命周期管理;所述用户交互模块用于接收用户相关指令,返回处理结果。
7.根据权利要求6所述的可伸缩视觉计算系统,其特征在于,所述数据流包括多媒体数据、特征数据、结果信息、时空信息、环境数据、设备数据以及算法模型。
8.根据权利要求6所述的可伸缩视觉计算系统,其特征在于,所述控制流是指与系统运行相关的指令数据,所述指令数据包括设备注册指令、登录指令、注销指令、设备控制指令、功能定义指令、参数配置指令以及数据查询/调取指令。
9.根据权利要求6所述的可伸缩视觉计算系统,其特征在于,所述中央控制模块包括配置管理子模块、协同调度子模块、指令处理子模块;其中,所述配置管理子模块用于对前端设备、边缘服务、云服务所有节点进行安全认证、配置管理和状态监控;所述协同调度子模块用于根据调度策略向前端设备下发设备控制指令、功能定义指令、工作参数指令;所述指令处理子模块用于负责接收、解析和处理边缘服务的上报指令和查询指令,下发模型流数据,负责对用户交互模块的响应。
10.根据权利要求6所述的可伸缩视觉计算系统,其特征在于,所述数据分析模块包括数据检索子模块、统计分析子模块以及数据挖掘子模块,所述数据检索子模块用于接收或向数据中心模块发起数据检索和调取指令,获取分析任务所需要的数据;所述统计分析子模块用于采用分类、回归、相关分析方法对汇聚的特征和结果数据进行多维度分析;所述数据挖掘子模块用于采用人工智能、机器学习、统计学手段,从大量历史数据或实时数据中自动提取出隐含的有用信息和知识。
暂无引用专利




