《动手学深度学习》课程作者-李沐，B站账号：跟李沐学AI

11模型选择 + 过拟合和欠拟合

11 模型选择 + 过拟合和欠拟合【动手学深度学习v2】

训练数据集：训练模型参数

验证数据集：选择模型超参数

非大数据集上通常使用k-折交叉验证

测试数据集：只用一次的数据集

不能用测试数据集来调试模型的参数

模型容量：拟合各种函数的能力

低容量的模型难以拟合训练数据

高容量的模型可以记住所有的训练数据

模型先要足够大，然后控制模型容量，使得泛化误差下降。

VC维：对于一个分类模型，VC等于一个最大的数据集的大小，不管如何给定标号，都存在一个模型来对它进行完美分类

VC维的用处：

1. 提供为什么一个模型好的理论依据

   它可以衡量训练误差和泛化误差之间的间隔

2. 但深度学习中很少使用

   衡量不是很准确

   计算深度学习模型的VC维很困难

数据复杂度：样本个数/每个样本的元素个数/时间、空间结构/多样性

模型参数是需要拟合的，超参数是人为设定的（靠自己/专家）。