泛化性能????
泛化是指学习到的模型对未知数据的预测能力，通过测试误差来评价学习方法的泛化能力。
不考虑数据量不足的前提下，如果泛化能力差，那么就是损失函数的优化没有达到全局最优
如何提高泛化能力呢？
1.增加数据量
2.正则化
3.凸优化
接下来讨论一下正则化问题：
L1正则化
给出的最优解更加靠近某些轴，其他的轴为0------->这样会使得得到的参数稀疏化
L1正则化的参数先验是服从Laplace分布的，Laplace的概率密度分布函数为
L2正则化
给出的最优解更加靠近原点--------->能降低参数范数的总和
L2正则化的参数先验服从高斯分布，高斯分布的概率密度函数是：
Bias-Variance Tradeoff(权衡偏差与方差)
偏差、方差是两个来源不同误差
偏差：模型的期望（或平均）预测-试图预测正确值
方差：多个拟合预测之间的偏离程度
期望泛化误差MSE：
其中
使用样本数相同的不同训练集产生的方差为：
期望输出与真实值的差别：
相关噪声：
实际系统中方差和偏差不可兼得，具体如下图所示：
情况分析
模型过于简单-------->欠拟合
模型过于复杂-------->过拟合
解决方法：交叉验证技术-----K折交叉验证
这个方法可以获得----------->关于泛化误差的可信估计
##K折交叉验证
1.首先，初始样本分成K个子样本，一个独立的子样本被保留作为验证模型的数据，其他K-1个样本用来训练。
2.交叉验证重复K次，每次都换检验数据样本，保证每个子样本都作为检验模型的数据一次
3.最后每次的误差求K的平均值
当K值大的时候；更少的偏差，更多的方差
当K值小的时候；更多的偏差，更少的方差
京公网安备 11010502036488号