有效
三维CT数据的目标识别方法、装置及射线扫描检测系统
陈志强、张丽、张潇予、王璐、郑娟、孙运达
同方威视技术股份有限公司
陈
陈志强机构 暂无
技术领域 暂无
张
张丽机构 暂无
技术领域 暂无
张
张潇予机构 暂无
技术领域 暂无
王
王璐机构 暂无
技术领域 暂无
郑
郑娟机构 暂无
技术领域 暂无
孙
孙运达机构 暂无
技术领域 暂无
摘要
提供一种用于三维CT数据的目标识别方法,可用于图像处理领域,包括:获取三维CT数据;对三维CT数据进行初识别,以获取N个目标的第一三维图像语义描述集合;根据目标的第一三维图像语义描述集合,从三维CT数据中提取N个目标对应的三维感兴趣区域;将N个目标中至少一个的第一三维图像语义描述集合和N个目标中至少一个的三维感兴趣区域作为三维目标识别方法的输入;以及利用三维目标识别方法对三维感兴趣区域进行再识别,以获取N个目标中至少一个的三维识别结果。本发明有效利用CT数据的三维信息,提升目标识别准确度。此外,还提供一种用于三维CT数据的目标识别装置、电子设备、射线扫描检测系统、计算机可读存储介质和程序产品。
1.一种用于三维CT数据的目标识别方法,其特征在于,所述方法包括:获取三维CT数据;对所述三维CT数据进行初识别,以获取N个目标的第一三维图像语义描述集合,其中,N为大于等于1的正整数;所述第一三维图像语义描述集合以体素、三维感兴趣区域和三维CT图像中的一个或多个为单位,包含:类别信息和/或置信度;或者,所述第一三维图像语义描述集合以所述三维感兴趣区域和/或所述三维CT图像为单位,包含:所述类别信息、所述置信度和目标的位置信息中的至少一个;根据所述目标的第一三维图像语义描述集合,从所述三维CT数据中提取所述N个目标对应的三维感兴趣区域;将所述N个目标中至少一个的第一三维图像语义描述集合和所述N个目标中至少一个的三维感兴趣区域作为三维目标识别方法的输入;以及利用所述三维目标识别方法对所述三维感兴趣区域进行再识别,以获取所述N个目标中至少一个的三维识别结果。
2.根据权利要求1所述的方法,其特征在于,所述三维感兴趣区域包括从所述三维CT数据中提取的与所述目标所在的局部区域对应的体数据。
3.根据权利要求1所述的方法,其特征在于,将所述N个目标中至少一个的第一三维图像语义描述集合和所述N个目标中至少一个的三维感兴趣区域作为三维目标识别方法的输入,具体包括:将全部所述N个目标的第一三维图像语义描述集合和全部所述N个目标的三维感兴趣区域均作为三维目标识别方法的输入。
4.根据权利要求1所述的方法,其特征在于,将所述N个目标中至少一个的第一三维图像语义描述集合和所述N个目标中至少一个的三维感兴趣区域作为三维目标识别方法的输入,具体包括:对所述N个目标的第一三维图像语义描述集合和/或所述N个目标的三维感兴趣区域进行筛选;以及将满足预设条件的n个目标的第一三维图像语义描述集合和/或所述n个目标的三维感兴趣区域作为三维目标识别方法的输入,其中,n为大于等于1且小于N的正整数。
5.根据权利要求4所述的方法,其特征在于,对所述N个目标的第一三维图像语义描述集合和/或所述N个目标的三维感兴趣区域进行筛选,具体包括:根据所述类别信息,筛选出被判断为属于预设类别的n个目标的第一三维图像语义描述集合和/或三维感兴趣区域;和/或,根据所述置信度,筛选出所述置信度在预设区间内的n个目标的第一三维图像语义描述集合和/或三维感兴趣区域。
6.根据权利要求1和5中任一项所述的方法,其特征在于,所述对所述三维CT数据进行初识别,以获取N个目标的第一三维图像语义描述集合,具体包括:对所述三维CT数据进行降维处理,以生成多个二维视图;利用二维图像识别方法,对所述多个二维视图进行目标识别,以获取N个目标的二维图像语义描述集合;以及对所述二维图像语义描述几何进行升维,以获取所述N个目标的第一三维图像语义描述集合。
7.根据权利要求1和5中任一项所述的方法,其特征在于,所述利用所述三维目标识别方法对所述三维感兴趣区域进行再识别,以获取所述N个目标中至少一个的三维识别结果,具体包括:利用预先训练得到的针对三维CT数据的深度学习网络进行特征提取,以获取特征图。
8.根据权利要求7所述的方法,其特征在于,提取的特征包括三维CT数据中的形状、纹理和颜色中的至少一个。
9.根据权利要求7所述的方法,其特征在于,所述利用预先训练得到的针对三维CT数据的深度学习网络进行特征提取,还具体包括:利用所述第一三维图像语义描述集合中包含的三维掩膜、类别信息和置信度,生成特征向量。
10.根据权利要求7所述的方法,其特征在于,所述利用所述三维目标识别方法对所述三维感兴趣区域进行再识别,以获取所述N个目标中至少一个的三维识别结果,还具体包括:利用所述深度学习网络对所述特征图进行操作,其中,所述操作包括特征图融合和特征图降维中的至少一个。
11.根据权利要求7所述的方法,其特征在于,所述利用所述三维目标识别方法对所述三维感兴趣区域进行再识别,以获取所述N个目标中至少一个的三维识别结果,还具体包括:将所述特征图应用于分类、分割或检测任务,以获取第二三维图像语义描述集合。
12.根据权利要求11所述的方法,其特征在于,所述利用所述三维目标识别方法对所述三维感兴趣区域进行再识别,以获取所述N个目标中至少一个的三维识别结果,还具体包括:将所述第二三维图像语义描述集合直接作为所述三维识别结果;或者,整合所述第一三维图像语义描述集合与所述第二三维图像语义描述集合,将整合后的结果作为所述三维识别结果。
13.根据权利要求11或12所述的方法,其特征在于,所述第二三维图像语义描述集合以体素、三维感兴趣区域和三维CT图像中的一个或多个为单位,包含:类别信息和/或置信度;或者,所述第二三维图像语义描述集合以三维感兴趣区域和/或三维CT图像为单位,包含:类别信息、置信度和目标的位置信息中的至少一个。
14.根据权利要求7所述的方法,其特征在于,预先训练所述针对三维CT数据的深度学习网络包括:获取训练数据;以及利用数据增广操作,增广所述训练数据,其中,所述数据增广操作包括旋转、平移、缩放、翻转和数据融合中的至少一种。
15.根据权利要求14所述的方法,其特征在于,所述训练数据包括三维感兴趣区域,所述数据融合包括将所述三维感兴趣区域与安全品或安全包进行融合。
16.根据权利要求15所述的方法,其特征在于,所述三维感兴趣区域通过第一CT设备获取,所述安全品或安全包通过第二CT设备获取,所述第一CT设备和所述第二CT设备为相同或不同的设备。
17.一种用于三维CT数据的目标识别方法,其特征在于,所述方法包括:获取三维CT数据;对所述三维CT数据进行初识别,以获取N个目标的第一三维图像语义描述集合作为初识别的结果,其中,N为大于等于1的正整数;所述第一三维图像语义描述集合以体素、三维感兴趣区域和三维CT图像中的一个或多个为单位,包含:类别信息和/或置信度;或者,所述第一三维图像语义描述集合以所述三维感兴趣区域和/或所述三维CT图像为单位,包含:所述类别信息、所述置信度和目标的位置信息中的至少一个;响应于所述初识别的结果中不包括所述目标的三维感兴趣区域,将所述三维CT数据的整体或部分区域作为三维目标识别方法的输入;以及利用所述三维目标识别方法对所述三维CT数据的整体或部分区域进行再识别,以获取N个目标中至少一个的三维识别结果,其中,N为大于等于1的正整数。
18.根据权利要求17所述的方法,其特征在于,将所述三维CT数据的整体或部分区域作为三维目标识别方法的输入,具体包括:从所述三维CT数据中提取多个候选区域;将所述多个候选区域中的至少一个作为三维目标识别方法的输入,或者,将所述三维CT数据的整体或部分区域作为三维目标识别方法的输入,具体包括:将所述三维CT数据的整体作为三维目标识别方法的输入。
19.一种用于三维CT数据的目标识别装置,其特征在于,所述装置包括:获取模块,用于获取三维CT数据;初识别模块,用于对所述三维CT数据进行初识别,以获取N个目标的第一三维图像语义描述集合,其中,N为大于等于1的正整数;所述第一三维图像语义描述集合以体素、三维感兴趣区域和三维CT图像中的一个或多个为单位,包含:类别信息和/或置信度;或者,所述第一三维图像语义描述集合以所述三维感兴趣区域和/或所述三维CT图像为单位,包含:所述类别信息、所述置信度和目标的位置信息中的至少一个;第一提取模块,用于根据所述目标的第一三维图像语义描述集合,从所述三维CT数据中提取所述N个目标对应的三维感兴趣区域;输入模块,用于将所述N个目标中至少一个的第一三维图像语义描述集合和所述N个目标中至少一个的三维感兴趣区域作为三维目标识别方法的输入;以及再识别模块,用于利用所述三维目标识别方法对所述三维感兴趣区域进行再识别,以获取所述N个目标中至少一个的三维识别结果。
20.一种用于三维CT数据的目标识别装置,其特征在于,所述装置包括:获取模块,用于获取三维CT数据;初识别模块,用于对所述三维CT数据进行初识别,以获取N个目标的第一三维图像语义描述集合作为初识别的结果,其中,N为大于等于1的正整数;所述第一三维图像语义描述集合以体素、三维感兴趣区域和三维CT图像中的一个或多个为单位,包含:类别信息和/或置信度;或者,所述第一三维图像语义描述集合以所述三维感兴趣区域和/或所述三维CT图像为单位,包含:所述类别信息、所述置信度和目标的位置信息中的至少一个;输入模块,用于响应于所述初识别的结果中不包括所述目标的三维感兴趣区域,将所述三维CT数据的整体或部分区域作为三维目标识别方法的输入;以及再识别模块,用于利用所述三维目标识别方法对所述三维CT数据的整体或部分区域进行再识别,以获取N个目标中至少一个的三维识别结果,其中,N为大于等于1的正整数。
21.一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个计算机程序,其特征在于,所述一个或多个处理器执行所述一个或多个计算机程序以实现根据权利要求1~18中任一项所述方法的步骤。
22.一种射线扫描检测系统,包括:射线源,用于发出射线;探测器,用于接收从所述射线源发出且经过检测对象的射线;以及数据处理装置,所述数据处理装置与所述探测器通信连接,其特征在于,所述数据处理装置包括:一个或多个处理器;存储器,用于存储一个或多个计算机程序,其中,所述一个或多个处理器执行所述一个或多个计算机程序以实现根据权利要求1~18中任一项所述方法的步骤。
23.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现根据权利要求1~18中任一项所述方法的步骤。
24.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现根据权利要求1~18中任一项所述方法的步骤。



