4.2 网络结构

  • 一个生物神经细胞的功能比较简单，而人工神经元只是生物神经细胞的理想化和简单实现，功能更加简单．要想模拟人脑的能力，单一的神经元是远远不 够的，需要通过很多神经元一起协作来完成复杂的功能，这样通过一定的连接方式或信息传递方式进行协作的神经元可以看作一个网络，就是神经网络。

4.2.1 前馈神经网络

  • 整个网络中的信息是朝一个方向传播，没有反向的信息传播，可以用一个有 向无环路图表示．
  • 前馈网络包括全连接前馈网络（本章中的第4.3节）和卷积神经网络（第5章）等．
  • 前馈网络可以看作一个 函数 ，通过简单非线性函数的多次复合，实现输入空间到输出空间的复杂映射。

4.2.2 记忆神经网络

  • 网络中的神经元不但可以接收其他神经元的信息，也可以接收自己的历史信息。
  • 记忆网络包括循环神经网络（第6章）、Hopfield网络（第8.6.1节）、玻尔兹曼机（第12.1节）、受限玻尔兹曼机（第12.2节）等。
  • 记忆网络可以看作一个 程序 ，具有更强的计算和记忆能力。

4.2.3 图神经网络

  • 图网络是定义在图结构数据上的神经网络。
  • 图中每个节点都由一个或一组神经元构成．节点之间的连接可以是有向的，也可以是无向的．每个 节点可以收到来自相邻节点或自身的信息。
  • 图网络是前馈网络和记忆网络的泛化，包含很多不同的实现方式，比如图卷
  • 积网络*（Graph Convolutional Network，GCN）、图注意力网络（Graph Attention Network，GAT）、消息传递神经网络（Message Passing Neural Network，MPNN）等。

三种网络的表示

图片说明