2.4 偏差-方差分解

  • 拟合能力强的模型一般复杂度会比较高，容易导致过拟合。相反，如果限制模型的复杂度，降低其拟合能力，又可能会导致欠拟合。
  • 偏差（Bias），是指一个模型在不同训练集上的平均性能和最优模型的差异，可以用来衡量一个模型的拟合能力。
  • 方差（Variance），是指一个模型在不同训练集上面的差异，可以用来衡量一个模型是否容易过拟合。
  • 最优模型𝑓∗(𝒙)，蓝点为不同训练集𝐷上得到的模型𝑓𝒟(𝒙)．图2.6a给出了一种理 想情况，方差和偏差都比较低．图2.6b为高偏差低方差的情况，表示模型的泛化 能力很好，但拟合能力不足．图2.6c为低偏差高方差的情况，表示模型的拟合能力 很好，但泛化能力比较差．当训练数据比较少时会导致过拟合．图2.6d为高偏差 高方差的情况，是一种最差的情况．
    图片说明
  • 偏差和方差分解给机器学习模型提供了一种分析途径，但在实际操作中难以直接衡量。
    • 一般来说，当一个模型在训练集上的错误率比较高时，说明模型的拟合能力不够，偏差比较高．这种情况可以通过增加数据特征、提高模型复杂度、 减小正则化系数等操作来改进。
    • 当模型在训练集上的错误率比较低，但验证集上的错误率比较高时，说明模型过拟合，方差比较高．这种情况可以通过降低模型复杂度、加大正则化系数、引入先验等方法来缓解。
  • 此外还可以通过集成模型来降低方差。