1.一种基于关键词的大坝缺陷图像描述文本生成方法,其特征在于,包括如下步骤:(1)将分解机模型与RNN编码器相结合,计算各个时刻输入的不同缺陷关键词和两两关键词组合的隐藏状态;(2)将编码器语义向量通过注意力机制为输入的缺陷关键词分配权重,控制缺陷描述文本语义;(3)采用LSTM解码器进行文本预测,通过输入门、遗忘门和输出门来控制隐藏状态中信息的流动,减少传统循环神经网络梯度消失或梯度爆炸的现象;所述步骤(1)中将分解机模型与RNN编码器相结合的具体步骤如下:(1.1)隐藏状态计算:定义时间步长为n-1的关键词输入集合为X T (X 1 ,X 2 ,…,X n-1 ),当前时刻输入为X t ,H t 是该时间步的隐藏变量:H t =φ(X t W xh +H t-1 W hh +b h ),其中,W xh 为X t 的输入参数,W hh 为隐藏层参数,b h 为隐藏层偏差参数,h为隐藏单元个数,为了使得前向时间步的序列对后向序列产生影响,隐藏变量H t 将联合X t+1 作为下一个时间步的输入,依次循环下去;(1.2)分解机语义隐藏状态计算:当关键词集合的最后一项X n-1 输入完成后,隐藏状态计算的隐藏变量为H n-1 ,此时,H n-1 集合了所有关键词的语义信息;为了研究关键词之间的关联与否,将输入序列中的所有关键词两两组合,重新拼接成新的序列,在X ij 中计算预备隐藏向量h ij :h ij =φ(X ij w xh +H n-1 w hh +b ij ),其中,w xh 为X ij 的输入权重,w hh 为预备隐藏状态的权重,b ij 为偏置项;(1.3)语义向量计算:最终包含关键词两两之间关联性的隐藏向量H n :其中,w ij 为预备隐藏变量h ij 各自的权重参数。
2.根据权利要求1所述的一种基于关键词的大坝缺陷图像描述文本生成方法,其特征在于,所述步骤(2)中将编码器语义向量通过注意力机制为输入的缺陷关键词分配权重的具体步骤如下:(2.1)求解码器隐藏状态s t′-1 与编码器隐藏状态H t 的关联度函数:将s t′-1 与H t 进行拼接后输入到单隐藏层多层感知机变换的全连接网络中,再把全连接网络的输出经过softmax层得到注意力机制的权重分布:a(s,H)=v T tanh(W s s+W h H)v、W s 、W h 为学习参数;(2.2)求s t′-1 与H t 的关联度得分e t′t :e t′t 的计算取决于t时刻输入向量的隐藏状态H t 和解码器中t′-1时刻的隐藏状态s t′-1 的关联度得分:e t′t =a(s t′-1 ,H t );(2.3)根据关联度得分分配注意力:设编码器在时间步t的隐藏状态为H t ,且总时间步为n,则解码器在时间步t′的语义向量c t′ 为编码器中所有隐藏状态的加权平均:对于解码器的时间步t′来说,权重α t′t 是对应编码器各个时间步的概率分布,为了实现α t′t 作为概率在[0,1]之间的值域,并且概率和为1,通过softmax函数进行归一化运算:
3.根据权利要求1所述的一种基于关键词的大坝缺陷图像描述文本生成方法,其特征在于,所述步骤(3)中采用LSTM解码器进行文本预测,通过输入门、遗忘门和输出门来控制隐藏状态中信息的流动的具体步骤如下:(3.1)计算通过遗忘门、输入门、输出门和候选记忆细胞的信息:LSTM三个门的输入均为上一时刻预测输出向量y t′-1 、当前时刻经注意力机制计算后的c t′ 和上一时间步隐藏状态s t′-1 ,假设隐藏单元的个数为n′,时间步t′的输入门为I t′ 、遗忘门为F t′ 以及输出门O t′ 分别计算如下:I t′ =σ(y t′-1 W yi +s t′-1 W si +c t′ W ci +b i )F t′ =σ(y t′-1 W yf +s t′-1 W sf +c t′ W cf +b f )O t′ =σ(y t′-1 W yo +s t′-1 W so +c t′ W co +b o )其中,W yi 、W yf 、W yo 和W si 、W sf 、W so 以及W ci 、W cf 、W co 是权重参数,b i 、b f 、b o 为偏差参数,σ为sigmoid激活函数;候选记忆细胞 采用值域为[-1,1]的tanh函数作为激活函数:(3.2)计算记忆细胞信息:信息在LSTM中通过元素乘法⊙实现,即操作矩阵中对应的元素相乘;当前时间步记忆细胞C t′ 的计算融合了上一时间步记忆细胞和当前时间步候选记忆细胞的信息,并通过遗忘门和输入门来筛选信息:(3.3)计算解码器隐藏状态:遗忘门控制上一时间步的记忆细胞C t′-1 中的信息是否传递到当前时间步,而输入门则控制所有的输入向量通过候选记忆细胞如何进入当前时间步的记忆细胞,同时,输出门还筛选从记忆细胞到隐藏状态s t′ 的信息:s t′ =O t′ ⊙tanh(C t′ );(3.4)预测输出向量:预测的输出向量y t′ 为:y t′ =σ(s t′ W sq +b q )此时输出的y t′ 为了能够运用到各词典对应的概率中,需要经softmax函数进行归一化,将y t′ 的值域控制在[0,1]的值域内。