2.3机器学习的简单示例——线性回归

  • 线性回归(Linear Regression)是机器学习和统计学中最基础和最广泛应用的模型,是一种对自变量和因变量之间关系进行建模的回归分析.自变量数量 为1时称为简单回归,自变量数量大于1时称为多元回归。
  • 通俗化的理解 f = ax+b 我们知道一定数量的(x,y)的数据对,我们希望通过这些数据对,来求出最佳的系数a和b 。但是这里面均为向量或者矩阵。

    四种不同的参数估计方法

  1. 经验风险最小化
    • 求所有的数据的平方损失最小
      风险函数定义
      W的最优参数
      图片说明
  2. 结构风险最小化
    • 最小二乘法的基本要求是各个特征之间要相互独立 保证X×X的转置可逆。 但是如果特征之间不满足该条件,则模型很难处理。所以为了解决这个问题 提出了岭回归
    • X×X的转置的对角先元素都加上一个常数
      图片说明
  3. 最大似然估计
    • 训练数据过少的时候会发生过拟合。
    • 图片说明
      图片说明
      图片说明
  4. 最大后验估计
    • 最大后验概率等价于平方损失的结构风险最小化
    • 图片说明
    • 图片说明
    • 图片说明
  • 可以理解为方法1 和方法3 是基础的解法,方法2 和方法4 是方法1 和方法3 的进一步解法。