基于分割网络和对抗网络的三维点云语义分割方法

1.一种基于分割网络和对抗网络的三维点云语义分割方法，其特征在于，构建一个由分割网络、梯度估计模块、对抗网络依次级联组成三维点云语义分割网络；对分割网络和对抗网络交替训练；该方法的步骤包括如下：(1)构建分割网络：(1a)搭建一个10层的分割网络，其结构依次为：第一提取层→第二提取层→第三提取层→第四提取层→第一回传层→第二回传层→第三回传层→第四回传层→第三卷积层→第四卷积层；每个提取层的结构依次为：采样模块→分组模块→第一特征提取模块→第一最大池化模块；所述的第一特征提取模块的结构依次为：第一卷积层→第一批量归一化层→第一ReLu激活层；每个回传层的结构依次为：插值模块→升维模块→第二特征提取模块→第二最大池化模块；所述的第二特征提取模块的结构依次为：第二卷积层→第二批量归一化层→第二ReLu激活层；所有的采样模块均采用最远点采样算法实现；所有的插值模块均采用三线性插值算法实现；(1b)设置分割网络的参数如下：将第一至第四提取层中采样模块的基准点个数依次设置为1024、512、256、128，将第一至第四提取层中第一特征提取模块的卷积核的个数依次设置为32、64、128、256，卷积核的大小均设置为3×3，卷积步长均设置为1；将第一至第四回传层中的第二特征提取模块的卷积核的个数依次设置为128、64、32、16，卷积核的大小均设置为3×3，卷积步长均设置为1；将第三至第四卷积层中的卷积核大小均设置为3×3，卷积步长均设置为1，卷积核个数依次设置为16、L，L的取值与真实标签的类别总数相等；(2)构建梯度估计模块：搭建一个3层的梯度估计模块，其结构依次为：加噪层→SoftMax归一化层→梯度转化层；加噪层基于Gumbel噪声生成算法；梯度转化层的结构依次为ArgMax层→编码层，反向传播时梯度转化层整体梯度设为1；编码层采用onehot函数实现；(3)构建对抗网络：(3a)搭建一个8层的对抗网络，其结构依次为：降维层→第一提取层→第二提取层→第三提取层→第四提取层→最大池化层→第二卷积层→第三卷积层；每个提取层的结构依次为：采样模块→分组模块→特征提取模块→最大池化模块；所述的特征提取模块的结构依次为：第一卷积层→LeakyReLu激活层；所述的采样模块采用最远点采样算法实现；(3b)设置对抗网络的参数如下：将降维层的参数矩阵大小设置为L×4；将第一至第四提取层的每个采样模块中的基准点个数依次设置为1024、512、256、128，将第一至第四提取层的每个特征提取模块中卷积核的个数依次设置为32、64、128、256，卷积核大小均设置为3×3，卷积步长均设置为1，将第一至第四提取层的每个LeakyReLu激活层的斜率均设置为0.2；将第二至第三卷积层的卷积核大小均设置为3×3，卷积步长均设置为1，卷积核个数依次设置为64、32；(4)构建基于分割网和对抗网三维点云语义分割网络：将分割网络、梯度估计模块、对抗网络依次级联组成三维点云语义分割网络；(5)初始化分割网络和对抗网络：使用xavier_initializer函数将分割网络和对抗网络中所有的卷积层、批量归一化层以及降维层的权重初始化为满足Xavier分布的随机值；(6)生成训练数据集和训练标签集：(6a)从数据库中获取带有标签的三维点云数据文件F:{F 1 ,F 2 ,...,F f ,}，其中，F i 表示第i个三维点云数据文件，f表示三维点云数据文件总数，f≥1400，每个三- 维点 云数据文件中每行的前三个数值代表三维点云的三个维度的坐标值，后面的数字代表该三维点云的真实标签的独热编码；(6b)用大小为1.5×1.5×1.5的立方体，步长0.75对每一个三维点云训练数据文件进行切割；(6c)对切割后的每个数据块，采取不放回的方式随机抽取N个点组成一个点集，如果数据块中的点数不足N，则在本数据块中随机重复取样至N，重复上述过程直到数据块中所有的点都被抽取过，将每个点集中所有点的三个维度的坐标值作为一个数据集、所有点的真实标签的独热编码作为一个标签集，N≥4096；(7)训练分割网络和对抗网络；(7a)将每个数据集依次输入到分割网络中，分割网络输出每个数据集的初始预测的标签结果，利用分割网络的损失函数计算分割网络的损失值；(7b)将每个数据集的初始预测的标签结果输入到梯度估计模块中，输出每个数据集的预测标签结果；(7c)将每个数据集的预测标签结果与其对应的标签集依次输入到对抗网络中，对抗网络对依次输入的预测标签结果和标签集提取高维特征后分别输出对应的真伪概率，利用对抗网络损失函数计算对抗网络的损失值；(7d)利用分割网络的损失函数计算分割网络中每个卷积层的卷积核的所有梯度、归一化层的所有梯度；使用Adam优化器迭代更新分割网络每个卷积层的卷积核的所有权重、归一化层的所有权重；所述Adam的初始学习率为0.0001；(7e)利用对抗网络的损失函数计算对抗网络中每个卷积层的卷积核的所有梯度、降维层的所有梯度；使用Adam优化器迭代更新对抗网络中每个卷积层的所有卷积核的所有权重、降维层的所有权重；所述Adam的初始学习率为0.0001；(7f)依次重复步骤(7a)至(7e)，交替训练分割网络和对抗网络，直到分割网络的损失值不再产生明显变化，对抗网络的损失值接近0.25时，完成分割网络和对抗网络的训练，得到训练好的分割网络和对抗网络，分别保存训练好的分割网络中每个卷积层的每个卷积核的所有权重、归一化层的所有权重和对抗网络中每个卷积层的每个卷积核的所有权重、降维层的所有权重；(8)对三维点云数据进行分割；训练好的分割网络利用步骤(7f)保存的训练好的分割网络权重，对输入的待分割的三维点云进行分割，将得到的预测标签结果输入到梯度估计模块中的ArgMax层得到最终的分割结果。 2.根据权利要求1所述的基于分割网络和对抗网络的三维点云语义分割方法，其特征在于，步骤(1a)中所述的采样模块均采用最远点采样算法实现的步骤是，从输入的点云中随机选择一个点作为基准点，再选择距离基准点最远的一个点作为新的基准点，重复这个过程直到得到满足设置的基准点个数。 3.根据权利要求1所述的基于分割网络和对抗网络的三维点云语义分割方法，其特征在于，步骤(1a)中所述的插值模块采用三线性插值算法实现的步骤如下：第一步，将第一至第四回传层中插值模块输出的点云的坐标依次设置为第三至第一提取层中采样模块的基准点的坐标、输入到分割网络的点云点的坐标；第二步，利用下式计算插值模块输出的点云第i个通道的特征：其中，FP i 表示插值模块输出的点云第i个通道的特征，d 1 表示所有输入到插值模块的点云距离该点云的距离中第1近的距离，FP 1 i 表示输入插值模块的点云中距离该点云第1近的点云第i个通道的特征，d 2 表示所有输入到插值模块的点云距离该点云的距离中第2近的距离， 表示输入插值模块的点云中距离该点云第2近的点云第i个通道的特征，d 3 表示所有输入到插值模块的点云距离该点云的距离中第3近的距离， 表示输入插值模块的点云中距离该点云第3近的点云第i个通道的特征，d 4 表示所有输入到插值模块的点云距离该点云的距离中第4近的距离， 表示输入插值模块的点云中距离该点云第4近的点云第i个通道的特征。 4.根据权利要求1所述的基于分割网络和对抗网络的三维点云语义分割方法，其特征在于，步骤(2)中所述的基于Gumbel噪声生成算法的步骤如下：第一步，利用下式，计算Gumbel噪声：G＝-ln(-ln(U(0,1)))其中，G表示Gumbel噪声，ln表示以自然常数e为底的对数操作，U(0,1)表示标准随机均匀分布；第二步，将生成的Gumbel噪声与分割网络输出的初始预测的标签结果相加。 5.根据权利要求1所述的基于分割网络和对抗网络的三维点云语义分割方法，其特征在于，步骤(7a)中所述的分割网络的损失函数如下：loss S ＝loss cross +loss SA其中，loss S 表示分割网络的损失函数，loss cross 表示分割网络的交叉熵损失，loss SA 表示分割网络的对抗损失，分别由下列公式得到：其中，∑表示求和操作，R(·)表示输入到分割网络的数据集对应的标签集，ln表示以自然常数e为底的对数操作，SoftMax表示归一化指数函数，S(·)表示分割网络的输出，A(·)表示对抗网络的输出，E(·)表示梯度估计模块的输出。 6.根据权利要求5所述的基于分割网络和对抗网络的三维点云语义分割方法，其特征在于，步骤(7c)中所述的对抗网络损失函数如下：其中，loss A 表示对抗网络的损失函数。