网络优化与正则化

目前，研究者从大量的实践中总结了一些经验方法，在神经网络的表示能力、复杂度、学习效率和泛化能力之间找到比较好的平衡，并得到一个好的网络模型．本章从网络优化和网络正则化两个方面来介绍这些方法．在网络优化方面，介绍一些常用的优化算法、参数初始化方法、数据预处理方法、逐层归一化方法和超参数优化方法．在网络正则化方面，介绍一些提高网络泛化能力的方法，包括ℓ1 和ℓ2 正则化、权重衰减、提前停止、丢弃法、数据增强和标签平滑．