有效
信息识别系统及其方法
赵自然、谢璐、顾建平、刘鹏、焦义涛
清华大学
赵
赵自然机构 暂无
技术领域 暂无
谢
谢璐机构 暂无
技术领域 暂无
顾
顾建平机构 暂无
技术领域 暂无
刘
刘鹏机构 暂无
技术领域 暂无
焦
焦义涛机构 暂无
技术领域 暂无
摘要
本申请提供了一种针对多维信息的识别系统及其方法,所述信息识别系统包括:信息采集模块,被配置为包括多维信息采集设备,以采集关于对象的多维信息;信息处理模块,被配置为基于由所述信息采集模块采集的信息,检测是否存在针对所述对象的异常信息;存储模块,被配置为存储由所述信息采集模块采集的信息以及由所述信息处理模块进行检测而产生的各种数据;以及显示与提醒模块,被配置为显示异常信息并且发出警报。
1.一种信息识别系统,包括:信息采集模块,被配置为包括多个信息采集设备,以采集关于对象的多维信息;信息处理模块,被配置为基于由所述信息采集模块采集的信息,检测是否存在针对所述对象的异常信息;存储模块,被配置为存储由所述信息采集模块采集的信息以及由所述信息处理模块进行检测而产生的各种数据;以及显示与提醒模块,被配置为显示异常信息并且发出警报,其中,所述信息处理模块还被配置为:从由所述信息采集模块采集的视频流中提取关于所述对象的矩形边界框和特征;基于所述边界框来检测感兴趣位置两侧的感兴趣区域内是否均存在对象;在所述对象完全进入所述感兴趣区域内的情况下,检测所述对象的手腕处的关键点,以确定关键点之间的距离;以及在所述关键点之间的距离小于或等于第一阈值的情况下,确定所述对象之间存在隔栏递物动作。
2.根据权利要求1所述的信息识别系统,其中,所述信息处理模块还被配置为:在同时检测到多个异常信息的情况下,确定所述多个异常信息的优先级,从而按优先级向所述显示与提醒模块发送异常信息。
3.根据权利要求1所述的信息识别系统,其中,所述信息处理模块还被配置为基于所述边界框和所述特征中的至少一个,来进行如下操作:对对象进行实时跟踪或搜寻、感兴趣区域内是否有物品遗留或人员滞留。
4.根据权利要求3所述的信息识别系统,其中,所述信息处理模块还被配置为执行以下操作以进行实时跟踪或搜寻:从所述视频流中的第一帧中提取多个边界框,并且从所述视频流中的第二帧中提取多个边界框;将从所述第一帧中提取的多个边界框中的每一个边界框分别与从所述第二帧中提取的边界框中的每一个边界框进行配对,从而形成包括多个配对项目的配对矩阵;以及计算所述配对矩阵中的多个配对项目中的每一个项目的值,并且将具有最优值的项目作为目标项目,所述目标项目指代针对同一对象的矩形边界框相配对而形成的项目。
5.根据权利要求4所述的信息识别系统,其中,所述信息处理模块还被配置为:计算所述多个配对项目中的每一个配对项目中的配成对的边界框之间的交并比;计算每一个配对项目中的配成对的边界框中的特征之间的相似度;以及选择边界框之间的交并比最大并且边界框中的特征之间的相似度最大的配对项目来作为所述目标项目。
6.根据权利要求3所述的信息识别系统,所述信息处理模块还被配置为:提取在所述感兴趣位置两侧的感兴趣区域内的对象的边界框,并且计算所述边界框与所述感兴趣区域之间的面积比;以及在所述面积比大于或等于第二阈值的情况下,确定所述对象完全进入所述感兴趣区域内。
7.根据权利要求3所述的信息识别系统,所述信息处理模块还被配置为执行以下操作以检测感兴趣区域内是否有物品遗留或人员滞留:检测感兴趣区域内是否存在静态物;检测所述静态物在所述感兴趣区域内的滞留时间;基于所述特征,检测所述静态物是人还是物品;以及在所述静态物是人并且所述滞留时间大于或等于阈值的情况下,所述感兴趣区域内有人员滞留;或者在所述静态物是物品的情况下,检测与所述物品相距阈值距离的范围内是否存在人,在与所述物品相距所述阈值距离的范围内没有人、并且所述滞留时间大于或等于阈值的情况下,所述感兴趣区域内有物品遗留。
8.一种信息识别方法,包括:利用多维信息采集设备采集关于对象的多维信息;基于所采集的多维信息,检测是否存在针对所述对象的异常信息;存储所采集的所述多维信息以及进行所述检测时产生的各种数据;以及显示异常信息并且发出警报,其中,所述信息识别方法还包括:从由所述信息采集模块采集的视频流中提取关于所述对象的矩形边界框和特征;基于所述边界框来检测感兴趣位置两侧的感兴趣区域内是否均存在对象;在所述对象完全进入所述感兴趣区域内的情况下,检测所述对象的手腕处的关键点,以确定关键点之间的距离;以及在所述关键点之间的距离小于或等于第一阈值的情况下,确定所述对象之间存在隔栏递物动作。
9.根据权利要求8所述的信息识别方法,其中,所述方法还包括:在同时检测到多个异常信息的情况下,确定所述多个异常信息的优先级,从而按优先级显示异常信息。
10.根据权利要求9所述的信息识别方法,其中,所述基于所采集的多维信息检测是否存在针对所述对象的异常信息包括:基于所述边界框和所述特征中的至少一个,来进行如下操作:对对象进行实时跟踪或搜寻、检测感兴趣区域内是否有物品遗留或人员滞留。
11.根据权利要求10所述的信息识别方法,其中,所述对所述对象进行实时跟踪或搜寻包括:从所述视频流中的第一帧中提取多个边界框,并且从所述视频流中的第二帧中提取多个边界框;将从所述第一帧中提取的多个边界框中的每一个边界框分别与从所述第二帧中提取的边界框中的每一个边界框进行配对,从而形成包括多个配对项目的配对矩阵;以及计算所述配对矩阵中的多个配对项目中的每一个项目的值,并且将具有最优值的项目作为目标项目,所述目标项目指代针对同一对象的矩形边界框相配对而形成的项目。
12.根据权利要求11所述的信息识别方法,其中,所述计算所述配对矩阵中的多个配对项目中的每一个项目的值并且将具有最优值的项目作为目标项目包括:计算所述多个配对项目中的每一个配对项目中的配成对的边界框之间的交并比;计算每一个配对项目中的配成对的边界框中的特征之间的相似度;以及选择边界框之间的交并比最大并且边界框中的特征之间的相似度最大的配对项目来作为所述目标项目。
13.根据权利要求8所述的信息识别方法,所述基于所述边界框来检测感兴趣位置两侧的感兴趣区域内是否均存在对象包括:提取在所述感兴趣位置两侧的感兴趣区域内的对象的边界框,并且计算所述边界框与所述感兴趣区域之间的面积比;以及在所述面积比大于或等于第二阈值的情况下,确定所述对象完全进入所述感兴趣区域内。
14.根据权利要求10所述的信息识别方法,所述检测感兴趣区域内是否有物品遗留或人员滞留包括:检测感兴趣区域内是否存在静态物;基于所述特征,检测所述静态物是对象还是物品,并且分析所述静态物是否;检测所述静态物在所述感兴趣区域内的滞留时间;以及在所述静态物是对象并且所述滞留时间大于或等于阈值的情况下,所述感兴趣区域内有对象滞留;或者在所述静态物是物品的情况下,检测与所述物品相距阈值距离的范围内是否存在对象,在与所述物品相距所述阈值距离的范围内没有对象、并且所述滞留时间大于或等于阈值的情况下,所述感兴趣区域内有物品遗留。
15.一种非暂时性计算机可读介质,包括记录在其上且能够实现根据权利要求8至14中任一项所述的方法的程序代码指令。



