基于多尺度级联深度残差网络的低照度视频增强方法

1.基于多尺度级联深度残差网络的低照度视频增强方法，其特征在于，包括以下步骤：步骤一：构建低照度视频增强数据集，并将该数据集划分为训练集和测试集两部分；步骤二：构建用于低照度视频增强的多尺度级联深度残差网络模型；该模型输入为低照度视频图像序列，输出为增强后的视频图像；该模型由一个粗尺度增强网络和一个细尺度增强网络构成，其中，粗尺度增强网络和细尺度增强网络均由一个去噪深度残差网络和一个相应的对比度提升深度残差网络级联构成；步骤三：利用步骤一中的训练集对多尺度级联深度残差网络模型进行训练，得到训练完成的网络模型；步骤四：将待处理的噪声视频图像序列输入训练完成的多尺度级联深度残差网络，快速进行视频增强，生成增强后的视频图像；其中，所述步骤二中多尺度级联深度残差网络模型的输入是2k+1帧低照度视频图像序列，输出为第k+1帧低照度视频图像所对应的增强图像，其中k＝1,2,3,...，低照度视频图像序列分辨率为h×w，h和w分别为视频图像的高度和宽度；多尺度级联深度残差网络模型包括粗尺度增强网络和细尺度增强网络两个子网络；粗尺度增强网络从低分辨率层次上对低照度视频图像进行初步增强处理，包括粗尺度去噪网络和粗尺度对比度提升网络；细尺度增强网络从高分辨率层次上对低照度视频图像进行进一步增强处理，包括细尺度去噪网络和细尺度对比度提升网络；所述粗尺度去噪网络的输入为2k+1帧低照度视频图像序列，首先通过池化层将输入视频图像序列的分辨率降低为 然后通过1个输入卷积层、4个残差单元和1个输出卷积层对低分辨率的低照度视频图像序列进行卷积处理，生成第k+1帧低照度视频图像所对应的低分辨率去噪图像；粗尺度对比度提升网络的输入为低分辨率去噪图像，通过1个输入卷积层、3个残差单元和1个输出卷积层对低分辨率去噪图像进行卷积处理，生成第k+1帧低照度视频图像所对应的低分辨率增强图像；在此基础上，通过1个反卷积层对粗尺度对比度提升网络最后一个残差单元输出的特征图进行处理，生成分辨率为h×w的粗尺度增强特征图；进而利用细尺度去噪网络进行处理，首先通过1个连接层将2k+1帧低照度视频图像序列和粗尺度增强特征图连接，在此基础上通过1个输入卷积层、4个残差单元和1个输出卷积层对连接后的特征图进行处理，最终输出第k+1帧低照度视频图像所对应的高分辨率去噪图像；细尺度对比度提升网络的输入为高分辨率去噪图像，通过1个输入卷积层、3个残差单元和1个输出卷积层对高分辨率去噪图像进行卷积处理，最终生成第k+1帧低照度视频图像所对应的高分辨率增强图像；细尺度增强网络的输入卷积层、残差单元与输出卷积层和粗尺度网络中的对应部分具有相同结构，残差单元包括2个卷积层和1个残差连接。 2.根据权利要求1所述的基于多尺度级联深度残差网络的低照度视频增强方法，其特征在于：所述步骤一中低照度视频增强数据集的样本数量不少于11000个，其中每个样本包含2k+1帧低照度视频图像序列和其中第k+1帧视频图像所对应的增强图像，训练集和测试集的样本数量比为10:1，k＝1,2,3,...。 3.根据权利要求1所述的基于多尺度级联深度残差网络的低照度视频增强方法，其特征在于：所述步骤三中多尺度级联深度残差网络模型的训练过程可使用Caffe，Tensorflow或PyTorch深度学习框架。