有效
一种基于作业现场的视频图像结构化方法及系统
刘惠华、王天师、利雅琳、樊志伟、谭伟、张春梅、高杨、李明、吴金珠、熊伟
广东电网有限责任公司
刘
刘惠华 专利 16
广东电网有限责任公司中山供电局应急电源回路物理仪器图像通信
王
王天师 专利 26
广东电网有限责任公司中山供电局电视系统图像通信计算技术
利
利雅琳 专利 10
广东电网有限责任公司中山供电局物理仪器计算技术电通信技术
樊
樊志伟 专利 24
广东电网有限责任公司中山供电局物理仪器计算技术电视系统
谭
谭伟 专利 9
广东电网有限责任公司中山供电局计算技术物理仪器图像通信
张
张春梅 专利 197
广东电网有限责任公司中山供电局模式识别信息通信行业流程商务信息处理
高
高杨 专利 23
广东电网有限责任公司中山供电局电视系统图像通信物理仪器
李
李明 专利 33
广东电网有限责任公司中山供电局物理仪器电视系统计算技术
吴
吴金珠 专利 26
广东电网有限责任公司中山供电局指定意外报警器物理仪器信号报警装置
熊
熊伟 专利 18
广东电网有限责任公司中山供电局物理仪器计算技术视觉识别
摘要
本发明涉及图像数据处理技术领域,公开了一种基于作业现场的视频图像结构化方法及系统,其方法通过对监控视频进行解帧,得到视频帧序列,采用直方图比较法在视频帧序列中提取关键帧,基于SIFT算法对每个关键帧的视频图像的提取对应的128维SIFT特征向量,并对128维SIFT特征向量进行归一化处理,通过构建分类器模型,将128维SIFT特征向量输入至分类器模型,输出对应的语义类别标签,将语义类别标签添加到相应的关键帧上,从而得到含有视频标签的监控视频,以建立视频数据的语义结构,提高了解读视频信息的效率和准确性。
1.一种基于作业现场的视频图像结构化方法,其特征在于,包括以下步骤:获取作业现场的监控视频,对所述监控视频进行解帧,得到视频帧序列;采用直方图比较法计算所述视频帧序列的相邻两个视频帧的相似度,提取相似度小于预设阈值的视频帧作为关键帧,将所述关键帧加入到关键帧序列;基于SIFT算法对所述关键帧序列中每个所述关键帧的视频图像的底层特征进行提取,得到每帧的所述关键帧对应的128维SIFT特征向量;对所述128维SIFT特征向量进行归一化处理,从而得到归一化特征向量;基于判别随机场模型对预先获取到的历史作业现场视频数据进行训练,以预先设定的语义类别标签作为输出量,从而构建分类器模型;其中,语义类别标签设定为未戴安全帽、跨域物理围栏、人员倒地以及无异常情况;将所述归一化特征向量输入至所述分类器模型中,从而输出语义类别标签,得到所述归一化特征向量与所述语义类别标签之间的映射关系;根据所述归一化特征向量与所述语义类别标签之间的映射关系对相应的所述关键帧进行标记视频标签,从而得到含有视频标签的监控视频。
2.根据权利要求1所述的基于作业现场的视频图像结构化方法,其特征在于,所述采用直方图比较法计算所述视频帧序列的相邻两个视频帧的相似度,提取相似度小于预设阈值的视频帧作为关键帧,将所述关键帧加入到关键帧序列的步骤具体包括:将所述视频帧序列中的第一帧视频作为当前帧视频加入到所述关键帧序列;将所述当前帧视频以及与下一帧视频分割为若干个矩形块;提取所述当前帧视频和所述下一帧视频中分别对应的每个矩形块的颜色直方图;将所述当前帧视频和所述下一帧视频对应位置的颜色直方图进行相似性比较,得到相似性结果;若相似性小于预设阈值时,则将所述下一帧视频作为当前帧视频加入到所述关键帧序列,转至所述将所述当前帧视频以及与其相邻的下一帧视频分割为若干个矩形块的步骤;若相似性不小于所述预设阈值时,则检测所述下一帧视频是否为所述关键帧序列的最后一帧,若所述下一帧视频不为所述关键帧序列的最后一帧,则转至所述将所述当前帧视频以及与其相邻的下一帧视频分割为若干个矩形块的步骤,直至所述下一帧视频为所述关键帧序列的最后一帧结束。
3.根据权利要求1所述的基于作业现场的视频图像结构化方法,其特征在于,所述基于SIFT算法对所述关键帧序列中每个所述关键帧的视频图像的底层特征进行提取,得到每帧的所述关键帧对应的128维SIFT特征向量的步骤具体包括:基于高斯卷积核建立高斯差分尺度空间为,L G (x,y,k,σ)=G(x,y,σ)×I(x,y)式中,L G (x,y,k,σ)表示高斯差分尺度空间,(x,y)表示像素点的图像坐标,k表示相邻两尺度空间的差异性的常数因子,σ表示尺度空间因子,I(x,y)表示视频图像,G(x,y,σ)表示高斯卷积核;通过对所述视频图像计算不同尺度下的高斯差分尺度空间,以构建图像金字塔,所述图像金字塔按照尺度划分为多组图像,每组有若干层图像,其中,当前组图像是通过对其上一组图像通过下釆样得到;基于所述图像金字塔通过尺度不变性搜索同尺度空间内的所有极值点及其坐标位置;以每个极值点为原点,在其周围的预设尺度区域内进行采样,利用直方图统计所述预设尺度区域内的像素的梯度方向,得到统计结果;根据所述统计结果,将直方图的峰值方向作为相应的极值点的方向;构建平面二维坐标系,所述平面二维坐标系的坐标轴为极值点的方向,根据所述极值点的坐标位置和尺度将所述极值点投影至所述平面二维坐标系上;以所述极值点为中点建立16×16模块,并对每个模块内的像素点求其梯度直方图,将每个模块分成8个相同尺度的子块,对每一个子块求取一个16方向的梯度直方图,从而形成8个16方向的向量,得到128维SIFT特征向量。
4.根据权利要求1所述的基于作业现场的视频图像结构化方法,其特征在于,还包括:对所述关键帧序列中的每个关键帧添加时间戳;将所述关键帧及其对应的视频标签及对应的时间戳进行关联并生成索引,构建视频数据库。
5.一种基于作业现场的视频图像结构化系统,其特征在于,包括:解帧模块,用于获取作业现场的监控视频,对所述监控视频进行解帧,得到视频帧序列;关键帧模块,用于采用直方图比较法计算所述视频帧序列的相邻两个视频帧的相似度,提取相似度小于预设阈值的视频帧作为关键帧,将所述关键帧加入到关键帧序列;特征提取模块,用于基于SIFT算法对所述关键帧序列中每个所述关键帧的视频图像的底层特征进行提取,得到每帧的所述关键帧对应的128维SIFT特征向量;归一化模块,用于对所述128维SIFT特征向量进行归一化处理,从而得到归一化特征向量;分类器模块,用于基于判别随机场模型对预先获取到的历史作业现场视频数据进行训练,以预先设定的语义类别标签作为输出量,从而构建分类器模型;其中,语义类别标签设定为未戴安全帽、跨域物理围栏、人员倒地以及无异常情况;分类模块,用于将所述归一化特征向量输入至所述分类器模型中,从而输出语义类别标签,得到所述归一化特征向量与所述语义类别标签之间的映射关系;标记模块,用于根据所述归一化特征向量与所述语义类别标签之间的映射关系对相应的所述关键帧进行标记视频标签,从而得到含有视频标签的监控视频。
6.根据权利要求5所述的基于作业现场的视频图像结构化系统,其特征在于,所述关键帧模块具体包括:当前帧提取模块,用于将所述视频帧序列中的第一帧视频作为当前帧视频加入到所述关键帧序列;分割模块,用于将所述当前帧视频以及与下一帧视频分割为若干个矩形块;直方图提取模块,用于提取所述当前帧视频和所述下一帧视频中分别对应的每个矩形块的颜色直方图;相似性比较模块,用于将所述当前帧视频和所述下一帧视频对应位置的颜色直方图进行相似性比较,得到相似性结果;判别模块,用于若相似性小于预设阈值时,则将所述下一帧视频作为当前帧视频加入到所述关键帧序列;还用于若相似性不小于所述预设阈值时,则检测所述下一帧视频是否为所述关键帧序列的最后一帧,若所述下一帧视频不为所述关键帧序列的最后一帧,则通知所述分割模块进行工作,直至所述下一帧视频为所述关键帧序列的最后一帧结束。
7.根据权利要求5所述的基于作业现场的视频图像结构化系统,其特征在于,所述特征提取模块具体包括:尺度空间构建模块,用于基于高斯卷积核建立高斯差分尺度空间为,L G (x,y,k,σ)=G(x,y,σ)×I(x,y)式中,L G (x,y,k,σ)表示高斯差分尺度空间,(x,y)表示像素点的图像坐标,k表示相邻两尺度空间的差异性的常数因子,σ表示尺度空间因子,I(x,y)表示视频图像,G(x,y,σ)表示高斯卷积核;金字塔构建模块,用于通过对所述视频图像计算不同尺度下的高斯差分尺度空间,以构建图像金字塔,所述图像金字塔按照尺度划分为多组图像,每组有若干层图像,其中,当前组图像是通过对其上一组图像通过下釆样得到;极值点搜索模块,用于基于所述图像金字塔通过尺度不变性搜索同尺度空间内的所有极值点及其坐标位置;梯度统计模块,用于以每个极值点为原点,在其周围的预设尺度区域内进行采样,利用直方图统计所述预设尺度区域内的像素的梯度方向,得到统计结果;方向指定模块,用于根据所述统计结果,将直方图的峰值方向作为相应的极值点的方向;投影模块,用于构建平面二维坐标系,所述平面二维坐标系的坐标轴为极值点的方向,根据所述极值点的坐标位置和尺度将所述极值点投影至所述平面二维坐标系上;特征向量获取模块,用于以所述极值点为中点建立16×16模块,并对每个模块内的像素点求其梯度直方图,将每个模块分成8个相同尺度的子块,对每一个子块求取一个16方向的梯度直方图,从而形成8个16方向的向量,得到128维SIFT特征向量。
8.根据权利要求5所述的基于作业现场的视频图像结构化系统,其特征在于,还包括:时间戳模块,用于对所述关键帧序列中的每个关键帧添加时间戳;数据库模块,用于将所述关键帧及其对应的视频标签及对应的时间戳进行关联并生成索引,构建视频数据库。
9.一种电子设备,其特征在于,包括:存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序时,实现权利要求1-4任一项所述的方法步骤。
10.一种存储介质,其特征在于,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-4任一项所述的方法步骤。



