基于多任务两级卷积神经网络的膝关节定位方法

1.一种基于多任务两级卷积神经网络的膝关节定位方法，其特征在于包括以下步骤：第一步，搭建基于多任务两级卷积神经网络的膝关节区域定位网络，基于多任务两级卷积神经网络的膝关节区域定位网络包括第一级网络和第二级网络，第一级网络的输出作为第二级网络的输入；第一级网络由第一特征提取模块和初步目标检测模块构成；第一特征提取模块从外界接收单膝图像I，对单膝图像I提取第一图像特征，将第一图像特征发送给初步目标检测模块；初步目标检测模块对第一图像特征进行检测，输出单膝图像I中的初步膝关节区域；第一特征提取模块由5个卷积层和3个最大池化层构成，5个卷积层中包括4个3×3卷积层和1个2×2卷积层，3个最大池化层包括2个2×2最大池化层和1个3×3最大池化层；第一3×3卷积层对单膝图像I进行卷积操作，第一2×2最大池化层对完成卷积操作的单膝图像I进行池化操作，得到特征图F1；第二3×3卷积层对特征图F1进行卷积操作，第一3×3最大池化层对完成卷积操作的特征图F1进行池化操作，得到特征图F2；第三3×3卷积层对特征图F2进行卷积操作，第二2×2最大池化层对完成卷积操作的特征图F2进行池化操作，得到特征图F3；第四3×3卷积层对特征图F3进行卷积操作，得到特征图F4，第五2×2卷积层对特征图F4进行卷积操作，得到特征图F5，特征图F5即为提取的第一图像特征；初步目标检测模块包括一个1×1卷积层、膝关节边界框坐标操作层以及第一非极大值抑制筛选层；1×1卷积层对特征图F5进行卷积，得到两组向量，即膝关节的概率向量A1、膝关节边界框坐标偏移向量B1；膝关节边界框坐标操作层根据A1和B1确定膝关节边界框，得到单膝图像I中的膝关节区域；第一非极大值抑制筛选层对单膝图像I中的膝关节区域进行非极大抑制筛选，得到单膝图像I中的初步膝关节区域，将单膝图像I及单膝图像I中的初步膝关节区域发送给第二级网络；第二级网络由第二特征提取模块和最终目标检测模块构成；第二特征提取模块对从第一级网络接收的单膝图像I以及单膝图像I中的初步膝关节区域进行特征提取，得到第二图像特征；最终目标检测模块对第二图像特征进行目标检测，得到单膝图像I的最终膝关节边界框坐标以及单膝图像I的膝关节区域关键点坐标；第二特征提取模块由4个卷积层、3个最大池化层和1个全连接层构成，4个卷积层中包括3个3×3卷积层和1个2×2卷积层，3个最大池化层包括2个2×2最大池化层和1个3×3最大池化层；第二特征提取模块中的第一3×3卷积层对单膝图像I中的初步膝关节区域进行卷积操作，第一2×2最大池化层对完成卷积操作的单膝图像I中的初步膝关节区域进行池化操作，得到特征图F6；第二3×3卷积层对特征图F6进行卷积操作，第二3×3最大池化层对完成卷积操作的特征图F6进行池化操作，得到特征图F7；第三3×3卷积层对特征图F7进行卷积操作，第三2×2最大池化层对完成卷积操作的特征图F7进行池化操作，得到特征图F8；第四3×3卷积层对特征图F8进行卷积操作，得到特征图F9，第一全连接层对特征图F9进行全连接操作，得到特征图F10，特征图F10即为提取的第二图像特征；最终目标检测模块包括第二全连接层、膝关节边界框以及膝关节区域的关键点坐标操作层以及第二非极大值抑制筛选层；第二全连接层对特征图F10进行全连接，得到三组向量，即膝关节的概率向量A2、膝关节边界框坐标偏移向量B2、膝关节区域六个关键点坐标偏移向量C；膝关节边界框以及膝关节区域的关键点坐标操作层根据A2、B2、C对单膝图像I进行膝关节边界框坐标以及膝关节区域的关键点坐标确定；第二非极大值抑制筛选层对单膝图像I中的膝关节区域及膝关节关键点坐标进行非极大抑制筛选，输出单膝图像I及单膝图像I的最终膝关节区域、以及单膝图像I的膝关节区域关键点坐标；第二步，对基于多任务两级卷积神经网络的膝关节区域定位网络进行训练，方法是：2.1准备基于多任务两级卷积神经网络的膝关节区域定位网络的数据：2.1.1对M张原始图像即包含左右膝的X线片医学图像进行预处理，得到经直方图均衡化处理的2M张单膝图像，M为正整数；2.1.2标注经直方图均衡化处理后的2M张单膝图像中膝关节真实边界框，方法是：2.1.2.1初始化变量m＝1；2.1.2.2人工手动标注第m张单膝图像膝关节区域的6个关键点；6个关键点指膝关节间隙及骨赘处边界的6个点，左膝和右膝的6个点分别为股骨内侧骨赘点FM、股骨外侧骨赘点FL、胫骨内侧骨赘点TM、胫骨外侧骨赘点TL、关节间隙内侧点JSM、关节间隙外侧点JSL；左膝和右膝的6个关键点呈镜像对称；2.1.2.3根据手动标注的关键点，标注出第m张单膝图像中膝关节的边界框，方法是：2.1.2.3.1分别计算出第m张单膝图像中6个关键点的中心点坐标(x mid ，y mid )；记6个关键点坐标分别为(x 1 ，y 1 )、(x 2 ，y 2 )、(x 3 ，y 3 )、(x 4 ，y 4 )、(x 5 ，y 5 )、(x 6 ，y 6 )，6个关键点的中心点坐标(x mid ，y mid )为：2.1.2.3.2计算膝关节的宽度w knee ，方法是：计算出6个关键点的最大横坐标x max 和最小横坐标x min ，膝关节宽度w knee 为最大横坐标x max 和最小横坐标x min 之间的差，即：x max ＝max(x 1 ，x 2 ，x 3 ，x 4 ，x 5 ，x 6 )；x mih ＝min(x 1 ，x 2 ，x 3 ，x 4 ，x 5 ，x 6 )；w knee ＝x max -x min ；2.1.2.3.3标注膝关节区域，获得真实膝关节区域边界框坐标 该坐标表示真实膝关节区域边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)；以6个关键点的中心点为中心上下左右各扩展膝关节宽度的0.65倍，作为真正感兴趣的膝关节区域，即标注的边界框，计算公式如下：2.1.2.4若m≥2M，转2.2；若m<2M，令m＝m+1，转2.1.2.2；2.2为基于多任务两级卷积神经网络的膝关节区域定位网络中第一级网络准备训练样本，方法是：2.2.1初始化变量m＝1；2.2.2在第m张单膝图像上为第一级网络准备训练样本，方法是：2.2.2.1初始化变量k＝1；2.2.2.2在第m张单膝图像上随机取第k个点，令第k个点的坐标为 以点 作为随机选取的边界框的左上坐标点；2.2.2.2取第k个随机选取的边界框的宽 和高 2.2.2.3确定第k个随机选取的边界框的坐标，方法是：令点 为随机选取的边界框的右下坐标点， 随机选取的边界框坐标为 代表第k个随机选取的边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)；2.2.2.4计算第m张单膝图像上第k个随机选取的边界框与标注的边界框的交并比 若 则将第k个随机选取的边界框即 作为训练的正样本，转2.2.2.5；若 则将第k个随机选取的边界框即 作为训练的部分样本，转2.2.2.5；若 则将第k个随机选取的边界框即 作为训练的负样本，转2.2.2.5；2.2.2.5若k<K，K为正整数，K为第m张单膝图像上总共随机选取的边界框数目，令k＝k+1，转2.2.2.2；若k≥K，转2.2.2.6；2.2.2.6若m≥2M，转2.2.3；若m<2M，令m＝m+1，转2.2.2；2.2.3将2.2.2生成的训练样本即正样本、部分样本、负样本尺度缩减为图像长×图像宽×图像通道数为48×48×3；2.2.4将2.2.3步尺度缩减后的训练样本做镜像操作增广，即将每张训练样本进行左右水平翻转，即对每张训练样本做镜像操作，生成第一级网络训练样本，第一级网络正样本个数为N 11 、部分样本个数为N 12 、负样本个数为N 13 ，N 11 、N 12 和N 13 均为正整数；2.3采用第一级网络训练样本对第一级网络进行训练，得到训练后的第一级网络；2.4为基于多任务两级卷积神经网络的膝关节区域定位网络中第二级网络准备训练样本，方法是：2.4.1初始化变量m＝1；2.4.2利用训练后的第一级网络定位第m张单膝图像I的初步膝关节区域，方法是:2.4.2.1生成第m张单膝图像I的图片金字塔，方法是：将第m张单膝图像I依次乘以不同的缩放因子s，s为正实数，对第m张单膝图像I进行不同尺度的缩放，得到PP张不同大小的单膝图像，构成单膝图像I的图片金字塔，PP为正整数；图片金字塔中每张图像大小记为图像的高×图像的宽×图像通道数＝H×W×3；2.4.2.2初始化变量p＝1；2.4.2.3经过训练的第一特征提取模块提取图片金字塔中第p张图片的特征，得到第一图像特征F5，F5为 2.4.2.4初步目标检测模块采用膝关节区域检测方法对第一图像特征F5进行检测，得到单膝图像I中的膝关节区域；2.4.2.5若p≥PP，转2.4.2.6；若p<PP，令p＝p+1，转2.4.2.3；2.4.2.6第一非极大值抑制筛选层采用非极大值抑制算法即NMS算法对第m张单膝图片I的所有膝关节区域进行过滤，得到第m张单膝图像I的N 1 个初步膝关节区域，N 1 为正整数；2.4.3在第m张单膝图像上为第二级网络准备训练样本，方法是：2.4.3.1初始化变量n 1 ＝1，k＝1；2.4.3.2计算第m张单膝图像I的第n 1 个初步膝关节区域与第m张单膝图像I标注的膝关节区域的交并比 若 将第n 1 个初步膝关节区域作为第二级网络训练的正样本，转2.4.3.3；若 将第n 1 个初步膝关节区域作为第二级网络训练的部分样本，转2.4.3.3；若 将第n 1 个初步膝关节区域作为第二级网络训练的负样本，转2.4.3.3；2.4.3.3若n 1 ≥N 1 ，转2.4.3.4；若n 1 <N 1 ，令n 1 ＝n 1 +1，转2.4.3.2；2.4.3.4在第m张单膝图像上随机取第k个点即 将点 作为随机选取的边界框的左上坐标点；2.4.3.5取第k个随机选取的边界框的宽 和高；2.4.3.6确定第k个随机选取的边界框的坐标：点 记为第k个随机选取的边界框的右下坐标点， 第k个随机选取的边界框坐标为 代表第k个随机选取的边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)；2.4.3.7计算第m张单膝图像上第k个随机选取的边界框与标注的边界框的交并比 若 则将第k个随机选取的边界框作为膝关节区域关键点定位的训练数据，转2.4.3.8；若 直接转2.4.3.8；2.4.3.8若k<K，令k＝k+1，转2.4.3.4，若k≥K，转2.4.4；2.4.4若m≥2M，转2.4.5；若m<2M，令m＝m+1，转2.4.2；2.4.5将2.4.3～2.4.4步生成的正样本、部分样本、负样本尺度缩减为48×48×3；2.4.6将2.4.5步尺度缩减后的正样本、部分样本、负样本做镜像操作增广，方法是：将每张训练样本进行左右方向翻转，即为镜像操作，得到第二级网络的训练样本，第二级网络训练的正样本个数为N 21 、部分样本个数为N 22 、负样本个数为N 23 ，N 21 、N 22 和N 23 均为正整数；2.5采用2.4.6步生成的第二级网络训练样本对第二级网络进行训练，得到训练后的第二级网络；第三步，对待检测双膝X光片进行预处理，得到经直方图均衡化处理的2张待检测单膝图像；第四步，基于训练好的多任务两级卷积神经网络的膝关节区域定位网络对2张待检测单膝图像进行膝关节定位，方法是：4.1初始化变量d＝1；4.2生成第d张待检测单膝图像的图片金字塔，方法是：将单膝图像进行不同尺度的缩放，缩放因子为s，得到PP张不同大小的单膝图像，设每张图像大小为H×W×3，称为该待检测单膝图像的图片金字塔；4.3基于训练好的多任务两级卷积神经网络的膝关节区域定位网络中的第一级网络处理第d张待检测单膝图像的图片金字塔，得到初步膝关节区域，方法是：4.3.1初始化变量p＝1；4.3.2第一特征提取模块提取第d张待检测单膝图像的图片金字塔中第p张图像的特征，方法是：4.3.2.1第一特征提取模块中的第一3×3卷积层对第d张待检测单膝图像的图片金字塔中第p张图片进行卷积操作，第一2×2最大池化层对完成卷积操作的第p张图片进行池化操作，输出特征图F1：卷积操作步长为1，最大池化操作步长为2，图片金字塔中第p张图片大小设为H×W×3，经过第一卷积和最大池化操作层得到 大小的特征图F1；4.3.2.2第一特征提取模块中的第二3×3卷积层对特征图F1进行卷积操作，第二3×3最大池化层对完成卷积操作的特征图F1进行池化操作，得到特征图F2：卷积操作步长为1，最大池化操作步长为2， 大小的特征图F1经过第二卷积和最大池化操作层得到 大小的特征图F2；4.3.2.3第一特征提取模块中的第三3×3卷积层对特征图F2进行卷积操作，第三2×2最大池化层对完成卷积操作的特征图F2进行池化操作，得到特征图F3：卷积操作步长为1，最大池化操作步长为2， 经过第三卷积和最大池化操作层得到 大小的特征图F3；4.3.2.4第一特征提取模块中的第四3×3卷积层对特征图F3进行卷积操作，得到特征图F4：卷积操作步长为1， 大小的特征图F3经过第四卷积操作层得到 大小的特征图F4；4.3.2.5第一特征提取模块中的第五2×2卷积层对特征图F4进行卷积操作，得到特征图F5：卷积操作步长为1， 大小的特征图F4经过第五卷积操作层得到 大小的特征图F5，特征图F5即为第d张待检测单膝图像的图片金字塔的第p张图片输入第一级网络提取的第一图像特征；4.3.3第一级网络的初步目标检测模块采用膝关节区域检测方法对F5进行检测，得到待检测单膝图像的膝关节区域；4.3.4若p<PP，令p＝p+1，转4.3.2；若p≥PP，则转4.3.5；4.3.5第二非极大值抑制筛选层采用非极大值抑制算法对第d张待检测单膝图像中的所有膝关节边界框进行过滤，过滤后的边界框在第d张待检测单膝图像上框出膝关节区域，为第一级网络输出的N 1 个初步膝关节区域；4.4第二级网络处理第d张待检测单膝图像的N 1 个初步膝关节区域，得到最终膝关节区域以及该区域的关键点，方法是：4.4.1初始化变量n 1 ＝1；4.4.2将第一级网络输出的第d张待检测单膝图像的第n 1 个初步膝关节区域尺度归一化为48×48×3；4.4.3第二级网络提取第d张待检测单膝图像上的第n 1 张初始膝关节区域图像的特征，方法是：4.4.3.1第二特征提取模块中的第一3×3卷积层对第n 1 张初始膝关节区域图像进行卷积操作，第一2×2最大池化层对完成卷积操作的第n 1 张初始膝关节区域图像进行池化操作，输出特征图F6：卷积操作步长为1，最大池化操作步长为2，尺度归一化的初始膝关节区域图像大小为48×48×3，经过第一卷积和最大池化操作层得到23×23×32大小的特征图F6；4.4.3.2第二特征提取模块中的第二3×3卷积层对特征图F6进行卷积操作，第二3×3最大池化层对完成卷积操作的特征图F6进行池化操作，输出特征图F7：卷积操作步长为1，最大池化操作步长为2，23×23×32大小的特征图F6经过第二卷积和最大池化操作层得到10×10×64大小的特征图F7；4.4.3.3第二特征提取模块中的第三3×3卷积层对特征图F7进行卷积操作，第三2×2最大池化层对完成卷积操作的特征图F7进行池化操作，输出特征图F8：卷积操作步长为1，最大池化操作步长为2，10×10×64大小的特征图F7经过第三卷积和最大池化操作层得到4×4×64大小的特征图F8；4.4.3.4第二特征提取模块中的第四3×3卷积层对特征图F8进行卷积操作，输出特征图F9：第四层卷积操作步长为1，4×4×64大小的特征图F8经过第四卷积操作层得到2×2×128大小的特征图F9；4.4.3.5第二特征提取模块中的第一全连接层对特征图F9进行全连接操作，输出特征图F10：2×2×128大小的特征图F9经过第一全连接层得到包含256维向量的特征图F10，特征图F10即为提取的第二图像特征；4.4.4第二级网络的最终目标检测模块处理F10，输出第d张待检测单膝图像的最终膝关节区域及关键点坐标，方法是：4.4.4.1第二级网络最终目标检测模块的第二全连接层对F10进行全连接，输出三组向量:是膝关节的概率向量 膝关节边界框坐标偏移向量 膝关节关键点坐标偏移向量 其中 有一个1维向量， 有一个4维向量， 有一个12维向量；4.4.4.2第二级网络最终目标检测模块的膝关节边界框坐标以及膝关节区域关键点坐标操作层对 向量进行筛选和计算，得到第d张待检测单膝图像的膝关节区域及膝关节区域的关键点；向量 存放的是认为是膝关节的概率值，当概率值不低于β时认为是膝关节，β为第二阈值，β∈[0.5，1]，若 的概率值大于β，则第n 1 张初步膝关节区域被保留，第n 1 张初步膝关节区域边界框坐标为 表示第n 1 张初步膝关节区域边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)，同时保留膝关节边界框坐标偏移向量 和膝关节关键点坐标偏移向量 设 表示第n 1 张膝关节边界框的偏移坐标(左上横坐标偏移量、左上纵坐标偏移量、右下横坐标偏移量、右下纵坐标偏移量)，设 表示第n 1 个膝关节区域的关键点FM点的偏移坐标(偏移横坐标，偏移纵坐标)， 表示第n 1 个膝关节区域的关键点FL点的偏移坐标(偏移横坐标，偏移纵坐标)， 表示第n 1 个膝关节区域的关键点TM点的偏移坐标(偏移横坐标，偏移纵坐标)， 表示第n 1 个膝关节区域的关键点TL点的偏移坐标(偏移横坐标，偏移纵坐标)， 表示第n 1 个膝关节区域的JSM点的偏移坐标(偏移横坐标，偏移纵坐标)， 表示第n 1 个膝关节区域的JSL点的偏移坐标(偏移横坐标，偏移纵坐标)；最终的第n 1 个膝关节边界框坐标 即第n 1 个膝关节边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)以及6个关键点坐标 即第n 1 个膝关节区域的FM点的坐标， 即第n 1 个膝关节区域的FL点的坐标， 即第n 1 个膝关节区域的TM点的坐标， 即第n 1 个膝关节区域的TL点的坐标， 即第n 1 个膝关节区域的JSL点的坐标， 即第n 1 个膝关节区域的JSM点的坐标计算如下：4.4.4.3若n 1 <N 1 ，令n 1 ＝n 1 +1，转4.4.2；若n 1 ≥N 1 ，转4.4.4.4；4.4.4.4第二非极大值抑制筛选层采用非极大值抑制NMS算法对第d张待检测单膝图像中膝关节边界框进行筛选，得到第d张待检测单膝图像的最终边界框及最终膝关节区域的关键点；4.4.4.5若d<2，令d＝d+1，转4.2；若d≥2，转第五步；第五步，结束。 2.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于2.1.1步所述对原始图像进行预处理的方法是：2.1.1.1从OAIbaseline公开数据库中随机选取M张原始图像即包含左右膝的X线片医学图像；2.1.1.2将M张原始图像统一转化成背景成暗色、双腿成亮色的图像：首先从M张原始图像中挑选出背景成亮色、双腿成暗色的双膝图像，然后进行图像像素反转，即用255减去原始像素值，将M张原始图像统一转化成背景成暗色、双腿成亮色的图像；2.1.1.3将M张背景成暗色、双腿成亮色的图像的像素转化成[0，255]的范围，即将背景成暗色、双腿成亮色的图像处理成uint8的图像，方法是：将M张背景成暗色、双腿成亮色的图像中的每个像素的像素值做如下处理： 其中P为处理前图像中任意一个像素的像素值，P max 为处理前图像中的最大像素值，P min 为处理前图像中的最小像素值，P new 为处理后图像中的任意一个像素的像素值；2.1.1.4将M张uint8的图像转化成2M张单膝图像，方法是：首先分别找到M张uint8的图像的宽W以及宽度的一半 然后对宽度的一半 取整，记为 最后从uint8的图像中按照宽度坐标 截取，即每张uint8的图被划分成2张单膝图像，最终获得2M张单膝图像；2.1.1.5对2M张单膝图像分别进行直方图均衡化处理，得到经直方图均衡化处理的2M张单膝图像。 3.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于2.2.2.2步和2.4.3.5所述取第k个随机选取的边界框的宽 和高 的方法是：设第m张单膝图像的宽为w m ，高为h m ，并取w m 和h m 的最小值的一半，且进行取整操作，即为int(min(w m ，h m )/2)，int(min(w m ，h m )/2)表示对min(w m ，h m )/2取整，在[48，int(min(w m ，h m )/2)]的取值区间中随机取一个整数作为随机选取的边界框的宽 和高 4.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于所述M满足M>2000，所述K满足K>50，所述PP满足0<PP<100，所述s满足0<s≤1，所述N 1 满足0≤N 1 ≤100。 5.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于2.3步所述对第一级网络进行训练的方法是：2.3.1初始化变量q＝1，设置模型参数的值，包括设置学习率为0.001，批处理大小batch_size为500；2.3.2将第一级网络的训练样本输入第一级网络，输出一个总体的损失函数L q ，L q 的计算如下，在2.3.1步设置的模型参数下，通过L q 值的反向传播更新第一级网络中的参数，得到第q次更新了参数的第一级网络NET q ；其中，N是第一级网络的训练样本的数量，N＝N 11 +N 12 +N 13 ， 表示第i个训练样本在第j个任务上的损失，1≤j≤3，总共有3个任务：膝关节检测、膝关节边界框定位、膝关节关键点定位，α j 表示第j个任务的重要程度系数，膝关节检测任务的重要程度系数α 1 ＝1，膝关节边界框定位任务的重要程度系数α 2 ＝0.5，膝关节关键点定位任务的重要程度系数α 3 ＝0；2.3.3令q＝q+1，若2≤q≤Q，Q为网络训练的次数，Q＝10，转2.3.4；否则训练完毕，得到训练后的第一级网络即NET Q ，结束；2.3.4将第一级网络的训练样本输入NET q-1 ，输出第q次总体损失函数L q ，在2.3.1步设置的模型参数下，通过L q 值的反向传播更新NET q-1 中的参数，得到第q次更新了参数的第一级网络NET q ，转2.3.3； 6.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于2.4.2.4步所述初步目标检测模块采用膝关节区域检测方法对第一图像特征F5进行检测，得到单膝图像I中的膝关节区域，膝关节区域检测方法是：2.4.2.4.1初步目标检测模块中的1×1卷积层对图片金字塔中第p张图片的第一图像特征F5进行1×1卷积，输出两组向量：膝关节的概率向量A1 p ，A1 p 为 ( 表示向量的个数，1表示每个向量的维度)，向量A1 p 存放的是认为是膝关节的概率值，当概率值不低于第一阈值α时认为是膝关节，α∈[0.5，1]；膝关节边界框坐标偏移向量B1 p ，B1 p 为 ( 表示向量的个数，4表示每个向量的维度)，每个向量的4维度(x 1 ，y 1 ，x 2 ，y 2 )表示边界框的(左上横坐标偏移量，左上纵坐标偏移量，右下横坐标偏移量，右下纵坐标偏移量)；2.4.2.4.2初步目标检测模块的膝关节边界框坐标操作层对A1 p 和B1 p 筛选和计算，得到单膝图像I中的膝关节区域；搜索到A1 p 中概率值不低于α的N个向量位置 N≥n≥1，N≥1，同时在B1 p 中找到对应的这N个向量位置 以及该N个位置对应的4维坐标偏移向量 其中， 表示第n个边界框的坐标偏移量(左上横坐标偏移量，左上纵坐标偏移量，右下横坐标偏移量，右下纵坐标偏移量)；计算原单膝图像I中N个膝关节区域边界框坐标 根据边界框坐标在原图I上框出N个膝关节区域，其中， 表示第n个边界框的坐标(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)，计算公式如下：其中， 表示第n个边界框的坐标偏移量(左上横坐标偏移量、左上纵坐标偏移量、右下横坐标偏移量、右下纵坐标偏移量)，s表示原始单膝图像I的缩放因子。 7.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于2.4.2.4.1步所述α为0.6。 8.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于2.5步对第二级网络进行训练的方法是：2.5.1初始化变量t＝1，设置模型参数的值，包括设置学习率为0.0001，批处理大小batch_size为500；2.5.2将第二级网络的训练样本输入第二级网络，输出一个总体的损失函数L t ，L t 的计算如下，在2.5.1步设置的的模型参数下，通过L t 值的反向传播更新第二级网络中的参数，得到第t次更新了参数的第二级网络NET t ；其中，N 2 是训练样本的数量，N 2 ＝N 21 +N 22 +N 23 ； 表示第i个训练样本在第j个任务上的损失，1≤j≤3，总共有3个任务：膝关节检测、膝关节边界框定位、膝关节关键点定位，α j 表示第j个任务的重要程度系数，膝关节检测任务的重要程度系数α 1 ＝0.8，膝关节边界框定位任务的重要程度系数α 2 ＝0.6，膝关节关键点定位任务的重要程度系数α 3 ＝1.5；2.5.3令t＝t+1，若2≤t≤T，T为网络训练的次数，T＝10，转2.5.4；否则训练完毕，得到训练后的第二级网络即NET T ，结束；2.5.4将第二级网络的训练样本输入NET t-1 ，输出第t次总体损失函数L t ，在2.5.1步设置的的模型参数下，通过L t 值的反向传播更新NET t-1 中的参数，得到第t次更新了参数的第二级网络NET t ；转2.5.3。 9.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于第三步所述对待检测双膝X光片进行预处理的方法是：3.1若待检测双膝X光片是背景成亮色、双腿成暗色，则将待检测双膝X光片转化成背景成暗色、双腿成亮色的图像，即用255减去待检测双膝X光片原始像素值作为新图像像素值，转化成背景成暗色、双腿成亮色的图像，转3.2；若待检测双膝X光片是背景成暗色、双腿成亮色，直接转3.2；3.2将待检测双膝X光片的像素转化成[0，255]的范围，即将待检测双膝X光片处理成uint8的双膝图像；uint8的双膝图像中每个像素对应的新像素值为 P为处理前图像每个像素的像素值，P max 为处理前图像的最大像素值，P min 为处理前图像的最小像素值；3.3将uint8的双膝图像转化成单膝图像，方法是：分别找到uint8双膝图像的宽W以及宽度的一半 然后对宽度的一半 取整，记为 最后从双膝图像中按照宽度坐标[0，int(W/2)]、[int(W/2)+1，W-1]截取，即uint8的双膝图像被划分成2张单膝图像；3.4对2张单膝图像进行直方图均衡化处理，这2张经过直方图均衡化处理的单膝图像作为待检测单膝图像。 10.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于2.4.2.6上所述第一非极大值抑制筛选层采用非极大值抑制算法对第m张单膝图片I的所有膝关节区域进行过滤时过滤阈值δ为0.6；4.3.5步所述第二非极大值抑制筛选层采用非极大值抑制算法对第d张待检测单膝图像中的所有膝关节边界框进行过滤时过滤阈值δ设为0.7；4.4.4.4步所述第二非极大值抑制筛选层采用非极大值抑制算法对第d张待检测单膝图像中膝关节边界框进行筛选获得最终的膝关节边界框及最终膝关节区域的关键点时过滤阈值δ为0.7。 11.如权利要求1所述的基于多任务两级卷积神经网络的膝关节定位方法，其特征在于4.4.4.2步所述β取值为0.7。