• 误差逆传播算法(BP算法)是迄今为止最成功的神经网络学习算法.关键点在于通过计算误差不断逆向调整隐层神经元的连接权和阈值.标准BP算法每次仅针对一个训练样例更新,累积BP算法则根据训练集上的累积误差更新.

 

  • 缓解BP神经网络过拟合有两种常见策略:
  1. 早停:若训练集误差降低但验证集误差升高则停止训练.
  2. 正则化:在误差目标函数中增加一个描述网络复杂度的部分(较小的连接权和阈值将使神经网络较为平滑).
  • 跳出局部最小,寻找全局最小的常用方法:
  1. 以多组不同参数初始化多个神经网络,选择最接近全局最小的
  2. 模拟退火
  3. 随机梯度下降
  • 典型的深度学习模型就是很深层的神经网络.但是多隐层神经网络难以直接用经典算法进行训练,因为误差在多隐层内逆传播时往往会发散.无监督逐层训练(如深层信念网络,DBN)和权共享(如卷积神经网络,CNN)是常用的节省训练开销的策略.