6.2 简单循环网络

  • 简单循环网络(Simple Recurrent Network,SRN)[Elman, 1990] 是一个非常简 单的循环神经网络,只有一个隐藏层的神经网络.在一个两层的前馈神经网络中,连接存在相邻的层与层之间,隐藏层的节点之间是无连接的.而简单循环网络增加了从隐藏层到隐藏层的反馈连接。
  • 如果我们把每个时刻的状态都看作前馈神经网络的一层,循环神经网络可以看作在时间维度上权值共享的神经网络。
    图片说明

    6.2.1 循环神经网络的计算能力

  • 图片说明
  • 图片说明
  • 图片说明