线性回归

文章目录

学习目标

  • 掌握线性回归的实现过程
  • 应用LinearRegression或SGDRegressor实现回归预测
  • 知道回归算法的评估标准及其公式
  • 知道过拟合与欠拟合的原因以及解决方法
  • 知道岭回归的原理及与线性回归的不同之处
  • 应用Ridge实现回归预测
  • 应用joblib实现模型的保存与加载

2.1 线性回归简介

1 线性回归应用场景

  • 房价预测

  • 销售额度预测

  • 贷款额度预测

    举例：

2 什么是线性回归

2.1 定义与公式

线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。

  • 特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归

  • 线性回归用矩阵表示举例

那么怎么理解呢？我们来看几个例子

  • 期末成绩：0.7×考试成绩+0.3×平时成绩
  • 房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率

上面两个例子，我们看到特征值与目标值之间建立了一个关系，这个关系可以理解为线性模型。

2.2 线性回归的特征与目标的关系分析

线性回归当中主要有两种模型，**一种是线性关系，另一种是非线性关系。**在这里我们只能画一个平面更好去理解，所以都用单个特征或两个特征举例子。

  • 线性关系

    • 单变量线性关系：

    • 多变量线性关系

注释：单特征与目标值的关系呈直线关系，或者两个特征与目标值呈现平面的关系

更高维度的我们不用自己去想，记住这种关系即可

  • 非线性关系

注释：为什么会这样的关系呢？原因是什么？

如果是非线性关系，那么回归方程可以理解为：w1x1+w2x22+w3x32