技术交流QQ群:1027579432，欢迎你的加入！

1.单向RNN结构

单向RNN.png

1.png

上述公式中，权重矩阵U、V、W共享

2.双向RNN(Bidirection-RNN)结构

双向RNN.png

2.png

双向RNN的最终输出和中间隐藏状态的计算公式如下，正向计算与反向计算不共享权重:


3.png

3.LSTM(长短时记忆网络)

普通的RNN网络中只有S_t = f(Ux_t+WS_t-1)，这种结构无法捕捉到长文本中远距离相关的特征，同时隐藏层的状态对短期的输入非常敏感，也会产生梯度爆炸或梯度消失问题。LSTM的关键在于cell的状态(整个绿色图表示一个cell)和穿过cell的那条水平线。


cell结构.png

如果只有上面的那条水平线是没办法实现添加或删除信息的，必须通过一种叫门(gates)的结构实现，门可以让信息选择性的通过，主要通过一个sigmoid的神经层和一个逐点相乘的操作实现的。


门的结构.png

sigmoid层的输出是一个向量，向量的每个元素都在[0,1]之间，表示让对应的信息通过的权重。如：0表示不让信息通过，1表示让所有信息通过。
  • (1)遗忘门(forget gate)
    在LSTM中的第一步决定我们会从细胞状态中遗忘什么信息，这个决定通过一个称为遗忘门层来实现的。该门会读取和x_t,输出一个在[0,1]之间的数值给每个在细胞状态中的数字，1表示“完全保留”，0表示“完全遗忘”。
    遗忘门.png

    其中表示上一个cell的输出,x_t表示当前细胞的输入，sigmoid表示激活函数
  • (2)输入门(input gate)
    下一步决定让多少新的信息加入到cell状态中，实现这个需要包括两个步骤：首先，一个叫做"input gate layer"的sigmoid层决定哪些信息需要更新；一个tanh层生成一个向量，即备选用来更新的内容。在下一步，我们把这两部分联合起来，对cell的状态进行一个更新。
    输入门.png

    现在是更新旧细胞状态的时间，将更新为C_t下面就是具体的实现过程:先将旧状态与f_t相乘，丢弃掉确定需要丢弃的信息。然后，加上
    最后的值就是新的候选值，根据我们决定更新每个状态的程度进行变化。
    更新状态.png

  • (3)输出门
    最后，需要确定最终输出是什么值。这个输出状态将会基于我们的细胞状态，但是也是一个过滤后的状态。首先，运行一个sigmoid层来确定细胞状态的哪个部分将会输出出去。接着，把细胞状态通过tanh进行处理，得到一个[-1,1]之间的值，并将它和sigmoid门的输出相乘，最终仅仅会输出我们确定输出的那部分。


    输出门.png

4.LSTM的变体GRU网络

  • (1)下面介绍一种LSTM比较著名的变种GRU，如下图所示，只有两个门：重置门(reset gate)和更新门(update gate)。同时在这个结构中，把细胞状态和隐藏状态进行合并，此结构比LSTM更简单。
    GRU.png

    其中，重置门表示为,更新门表示为z_t。重置门决定是否将之前的状态忘记(相当于合并了LSTM中的遗忘门与输入门)。当r_t趋于0时，前一时刻的状态信息会被遗忘掉，隐藏状态会被重置为当前输入的信息。更新门决定是否将隐藏状态更新为新的状态(相当于LSTM中的输出门)。
  • (2) GRU与LSTM相比较:
    • a.GRU少一个门，同时少了细胞状态C_t
    • b. 在LSTM中，通过遗忘门和输入门控制信息的保留与输入；GRU通过重置门来控制是否保留原来隐藏状态的信息，但是不再限制当前信息的输入。
    • c. 在LSTM中，虽然得到了新的细胞状态C_t,但还是不能直接输出，而需要经过一个过滤的处理:h_t=;同样在GRU中，虽然也得到新的隐藏状态,但是还不能直接输出，而是通过更新门来控制最后的输出是:h_t=

5.RNN文本分类

  • (1) 用于文本分类的单向RNN结构


    单向RNN.png

  • (2) 引入双向LSTM进行分类,网络框架是:embedding layer--->Bi-LSTM layer--->concat output--->FC layer ---> softmax层


    Bi LSTM.png

    multilayer LSTM.png

6.参考博客