4.6 优化问题

  • 神经网络的参数学习比线性模型要更加困难，主要原因有两点：1）非凸优化问题和 2）梯度消失问题.

    非凸优化问题

  • 神经网络的优化问题是一个非凸优化问题。
    图片说明

    梯度消失问题

  • 由于Sigmoid型函数的饱和性，饱和区的导数更是接近于0．这样，误差经过每一层传递都会不断衰减．当网络层数很深时，梯度就会不停衰减，甚至消 失，使得整个网络很难训练．这就是所谓的梯度消失问题（Vanishing Gradient Problem），也称为梯度弥散问题。

    4.7 本章总结

    图片说明
  • 本章介绍的前馈神经网络是一种类型最简单的网络，相邻两层的神经元之间为全连接关系，也称为全连接神经网络（Fully Connected Neural Network， FCNN）或多层感知器．前馈神经网络作为一种机器学习方法在很多模式识别和 机器学习的教材中都有介绍，比如《Pattern Recognition and Machine Learning》[Bishop, 2007]和《Pattern Classification》[Duda et al., 2001]等．