7.5 逐层归一化

  • 逐层归一化（Layer-wise Normalization）是将传统机器学习中的数据归一化方法应用到深度神经网络中，对神经网络中隐藏层的输入进行归一化，从而使得网络更容易训练。

逐层归一化可有效提高训练效率的原因有：

  • 更好的尺度不变性
  • 更平滑的优化地形

常用归一化方法有

  1. 批量归一化（Batch Normalization）
    • 为解决内部协方差偏移问题
  2. 层归一化 （layer Normalization）
  • 图片说明
  1. 权重归一化（Weigh Normalization）
    图片说明
  2. 局部相应归一化（Local Response Normalization）
    图片说明