6.7 深层循环神经网络

  • 如果将深度定义为网络中信息传递路径长度的话,循环神经网络可以看作既“深”又“浅”的网络.一方面来说,如果我们把循环网络按时间展开,长时间间隔的状态之间的路径很长,循环网络可以看作一个非常深的网络.从另一方面来说,如果同一时刻网络输入到输出之间的路径𝒙𝑡 → 𝒚𝑡,这个网络是非常浅的.

    6.7.1 堆叠循环神经网络

    图片说明

    6.7.2 双向循环神经网络

    图片说明
    图片说明