7.7 网络正则化
- 正则化（Regularization）是一类通过限制模型复杂度，从而避免过拟合，提高泛化能力的方法，比如引入约束、增加先验、提前停止等。
7.7.1 L1 L2 正则化
7.7.2 权重衰减
7.7.3 提前停止
提前停止（Early Stop）对于深度神经网络来说是一种简单有效的正则化方法．由于深度神经网络的拟合能力非常强，因此比较容易在训练集上过拟合.使用梯度下降法进行优化时，我们可以使用一个和训练集独立的样本集合，称为验证集（Validation Set），并用验证集上的错误来代替期望错误．当验证集上的错误率不再下降，就停止迭代。
7.7.4 丢弃法
7.7.5 数据增强
深度神经网络一般都需要大量的训练数据才能获得比较理想的效果．在数据量有限的情况下，可以通过数据增强（Data Augmentation）来增加数据量，提高模型鲁棒性，避免过拟合．目前，数据增强还主要应用在图像数据上，在文本等其他类型的数据上还没有太好的方法。
（1） 旋转（Rotation）：将图像按顺时针或逆时针方向随机旋转一定角度．
（2） 翻转（Flip）：将图像沿水平或垂直方法随机翻转一定角度．
（3） 缩放（Zoom In/Out）：将图像放大或缩小一定比例．
（4） 平移（Shift）：将图像沿水平或垂直方法平移一定步长．
（5） 加噪声（Noise）：加入随机噪声．
7.7.6 标签平滑
京公网安备 11010502036488号