有效
神经网络训练方法和设备、图像处理方法和设备和存储介质
邢宇翔、梁凯超、沈乐、张丽、杨洪恺、康克军、陈志强、李荐民、刘以农
清华大学
邢
邢宇翔机构 暂无
技术领域 暂无
梁
梁凯超机构 暂无
技术领域 暂无
沈
沈乐机构 暂无
技术领域 暂无
张
张丽机构 暂无
技术领域 暂无
杨
杨洪恺机构 暂无
技术领域 暂无
康
康克军机构 暂无
技术领域 暂无
陈
陈志强机构 暂无
技术领域 暂无
李
李荐民机构 暂无
技术领域 暂无
刘
刘以农机构 暂无
技术领域 暂无
摘要
公开了一种训练神经网络的方法和设备、图像处理方法和设备以及存储介质。神经网络包括:投影域网络,处理输入的投影数据,得到估计投影数据;解析重建网络层,由估计投影数据得到重建图像;图像域网络,处理重建图像,得到估计图像;投影层,得到估计图像的投影结果;和统计模型层,确定输入的投影数据、估计投影数据和估计图像的投影结果基于统计模型的一致性。神经网络还可包括先验模型层。所述方法包括:利用基于输入的投影数据、估计投影数据、以及估计图像的投影结果的数据模型的一致性代价函数调整图像域网络和投影域网络的卷积核参数。利用上述方案,训练得到的神经网络能够在投影数据存在缺陷时重建质量更高的图像。
1.一种用于训练卷积神经网络的方法,所述卷积神经网络包括:投影域网络,用于处理输入的投影数据,得到估计投影数据;解析重建网络层,用于对估计投影数据进行解析重建,得到重建图像;图像域网络,用于对重建图像进行处理,得到估计图像;投影层,用于利用CT扫描系统的系统投影矩阵对估计图像进行投影运算,得到估计图像的投影结果;和统计模型层,用于确定输入的投影数据、估计投影数据和估计图像的投影结果这三者基于统计模型的一致性;其中,所述方法包括:利用基于输入的投影数据、估计投影数据、以及估计图像的投影结果这三者的数据模型的一致性代价函数来调整图像域网络的卷积核参数和投影域网络的卷积核参数;其中,利用投影层构建与投影一致的代价函数,利用统计模型层构建似然关系代价函数,以及所述利用与投影一致的代价函数和所述似然关系代价函数中的至少一个形成所述数据模型的一致性代价函数。
2.如权利要求1所述的方法,其中,所述卷积神经网络还包括至少一个先验模型层,所述先验模型层用于基于估计图像的先验模型代价函数调整图像域网络,并经过解析重建网络层对梯度进行反向传递,以调整投影域网络的卷积核参数。
3.如权利要求1或2所述的方法,其中,投影域网络、解析重建网络层和图像域网络的正向传递过程包括:投影域网络的输入投影数据表示为g={g 1 ,g 2 ,...,g M },投影域网络输出的估计投影数据表示为 M′≥M,经过加权后得到 经过斜坡滤波层后得到 经过反投影得到解析重建网络层的输出 令 表示图像域网络的作用函数,则图像域网络输出的估计图像 其中,上标T表示矩阵的转置,h为离散化的斜坡滤波算子,H R 是M′×N维重建用系统矩阵,N是重建图像的像素总数,W 1 ,W 2 ,......,W M′ 表示加权系数。
4.如权利要求3所述的方法,其中,将所述数据模型的一致性代价函数表示为 来自数据模型一致性的误差传递关系为: 其中, 为似然关系代价函数, 越小,则投影数据g与估计投影数据 越吻合, 为与投影一致的代价函数,β为拉格朗日乘子参数,H为系统投影矩阵。
5.如权利要求2所述的方法,其中,所述先验模型代价函数 包括局部条件的全变分、马尔科夫场先验、纹理先验、特征空间稀疏度之一或者组合,其中 为所述估计图像。
6.如权利要求5所述的方法,还包括利用先验误差ε Pr 定义先验模型代价函数
7.如权利要求5所述的方法,其中,根据各个先验模型代价函数 在误差反馈过程中的重要性λ来调整图像域网络。
8.如权利要求6所述的方法,其中,在解析重建网络层,按照如下的传递关系实现解析重建网络层的先验误差反向传递:其中,投影域网络的输入投影数据表示为g={g 1 ,g 2 ,…,g M },投影域网络输出的估计投影数据表示为 M′≥M,经过加权后得到 经过斜坡滤波层后得到 经过反投影得到解析重建网络层的输出 其中上标T表示矩阵的转置,h为离散化的斜坡滤波算子,H R 是M′×N维重建用系统矩阵,N是重建图像的像素总数,W 1 ,W 2 ,……,W M′ 表示加权系数。
9.如权利要求8所述的方法,其中,用 表示图像域网络的作用函数,即 则按照如下的传递关系实现先验误差反向传递:
10.如权利要求9所述的方法,所述方法还包括:将 和 共同传递至投影域网络,以便对各层参数进行更新。
11.如权利要求1所述的方法,还包括:由CT扫描系统获取衰减信号数据,并对衰减信号数据进行预处理得到输入的投影数据。
12.如权利要求1所述的方法,其中,图像域网络包括U型卷积神经网络。
13.如权利要求1所述的方法,还包括:将仿真数据集合作为输入的投影数据,以对所述卷积神经网络进行预训练。
14.一种图像处理方法,包括:由CT扫描系统获取对象的投影数据;以及利用卷积神经网络对所述投影数据进行处理,以获取所述对象的估计图像;其中,所述卷积神经网络包括:投影域网络,用于处理输入的投影数据,得到估计投影数据;解析重建网络层,用于对估计投影数据进行解析重建,得到重建图像;图像域网络,用于对重建图像进行处理,得到估计图像;投影层,用于利用所述CT扫描系统的系统投影矩阵对估计图像进行投影运算,得到估计图像的投影结果;和统计模型层,用于确定输入的投影数据、估计投影数据和估计图像的投影结果这三者基于统计模型的一致性;其中,所述图像处理方法包括训练所述卷积神经网络,包括:利用基于输入的投影数据、估计投影数据、以及估计图像的投影结果这三者的数据模型的一致性代价函数来调整图像域网络的卷积核参数和投影域网络的卷积核参数;其中,利用投影层构建与投影一致的代价函数,利用统计模型层构建似然关系代价函数,以及所述利用与投影一致的代价函数和所述似然关系代价函数中的至少一个形成所述数据模型的一致性代价函数。
15.一种用于训练卷积神经网络的设备,包括:存储器,用于存储指令和数据,处理器,配置为执行所述指令,以便:构建所述卷积神经网络,使其包括:投影域网络,用于处理输入的投影数据,得到估计投影数据;解析重建网络层,用于对估计投影数据进行解析重建,得到重建图像;图像域网络,用于对重建图像进行处理,得到估计图像;投影层,用于利用CT扫描系统的系统投影矩阵对估计图像进行投影运算,得到估计图像的投影结果;和统计模型层,用于确定输入的投影数据、估计投影数据和估计图像的投影结果这三者基于统计模型的一致性;其中,所述处理器还配置为训练所述卷积神经网络,包括利用基于输入的投影数据、估计投影数据、以及估计图像的投影结果这三者的数据模型的一致性代价函数来调整图像域网络的卷积核参数和投影域网络的卷积核参数;其中,利用投影层构建与投影一致的代价函数,利用统计模型层构建似然关系代价函数,以及所述利用与投影一致的代价函数和所述似然关系代价函数中的至少一个形成所述数据模型的一致性代价函数。
16.一种图像处理设备,包括:存储器,用于存储指令和数据,处理器,配置为执行所述指令,以便:接收CT扫描系统获取的对象的投影数据;以及利用卷积神经网络对所述投影数据进行处理,以获取所述对象的估计图像;其中,所述处理器还配置为构建所述卷积神经网络,使其包括:投影域网络,用于处理输入的投影数据,得到估计投影数据;解析重建网络层,用于对估计投影数据进行解析重建,得到重建图像;图像域网络,用于对重建图像进行处理,得到估计图像;投影层,用于利用CT扫描系统的系统投影矩阵对估计图像进行投影运算,得到估计图像的投影结果;和统计模型层,用于确定输入的投影数据、估计投影数据和估计图像的投影结果这三者基于统计模型的一致性;其中,所述处理器还配置为训练所述卷积神经网络,包括利用基于输入的投影数据、估计投影数据、以及估计图像的投影结果这三者的数据模型的一致性代价函数来调整图像域网络的卷积核参数和投影域网络的卷积核参数;其中,利用投影层构建与投影一致的代价函数,利用统计模型层构建似然关系代价函数,以及所述利用与投影一致的代价函数和所述似然关系代价函数中的至少一个形成所述数据模型的一致性代价函数。
17.一种计算机可读存储介质,其中存储有计算机指令,当所述指令被处理器执行时实现如权利要求1-14之一所述的方法。



