6.6 基于门控的循环神经网络
- 为了改善循环神经网络的长程依赖问题， 一种非常好的解决方案是在公式(6.50)的基础上引入门控机制来控制信息的累积速度，包括有选择地加入新的信息，并有选择地遗忘之前累积的信息．这一类网络可以称为基于门控的循环神经网络（Gated RNN）．本节中，主要介绍两种基于门控的循环神经网络：长短期记忆网络和门控循环单元网络．
6.6.1 长短期记忆网络
- 长短期记忆网络（Long Short-Term Memory Network，LSTM）[Gers et al.,2000; Hochreiter et al., 1997] 是循环神经网络的一个变体，可以有效地解决简单循环神经网络的梯度爆炸或消失问题．
6.6.3 门控循环单元网络
京公网安备 11010502036488号