4.3 前馈神经网络

  • 在前馈神经网络中，各神经元分别属于不同的层。每一层的神经元可以接收 前一层神经元的信号，并产生信号输出到下一层。第0层称为输入层，最后一层称为输出层，其他中间层称为隐藏层。整个网络中无反馈，信号从输入层向输出层单向传播，可用一个有向无环图表示。
    前馈神经网络

4.3.1 通用近似定理

  • 通用近似定理

  • 根据通用近似定理，对于具有线性输出层和至少一个使用“挤压”性质的激活函数的隐藏层组成的前馈神经网络，只要其隐藏层神经元的数量足够，它可 以以任意的精度来近似任何一个定义在实数空间中的有界闭集函数。

4.3.2 应用到机器学习

  • 根据通用近似定理，神经网络在某种程度上可以作为一个“万能”函数来使用，可以用来进行复杂的特征转换，或逼近一个复杂的条件分布。
  • 图片说明

4.3.3 参数学习

  • 图片说明
  • 梯度下降法需要计算损失函数对参数的偏导数，如果通过链式法则逐一对每个参数进行求偏导比较低效．在神经网络的训练中经常使用反向传播算法来高效地计算梯度。