2.3机器学习的简单示例——线性回归
- 线性回归（Linear Regression）是机器学习和统计学中最基础和最广泛应用的模型，是一种对自变量和因变量之间关系进行建模的回归分析．自变量数量 为1时称为简单回归，自变量数量大于1时称为多元回归。
- 通俗化的理解 f = ax+b 我们知道一定数量的（x,y）的数据对，我们希望通过这些数据对，来求出最佳的系数a和b 。但是这里面均为向量或者矩阵。
四种不同的参数估计方法
- 经验风险最小化
- 求所有的数据的平方损失最小
- 求所有的数据的平方损失最小
- 结构风险最小化
- 最小二乘法的基本要求是各个特征之间要相互独立 保证X×X的转置可逆。 但是如果特征之间不满足该条件，则模型很难处理。所以为了解决这个问题 提出了岭回归
- X×X的转置的对角先元素都加上一个常数
- 最大似然估计
- 训练数据过少的时候会发生过拟合。
- 最大后验估计
- 最大后验概率等价于平方损失的结构风险最小化
- 可以理解为方法1 和方法3 是基础的解法，方法2 和方法4 是方法1 和方法3 的进一步解法。
京公网安备 11010502036488号