文章目录
线性回归简介
线性回归应用场景
-
房价预测
-
销售额度预测
-
贷款额度预测
举例：
什么是线性回归
定义与公式
线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。
- 特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归
- 线性回归用矩阵表示举例
那么怎么理解呢？我们来看几个例子
- 期末成绩：0.7×考试成绩+0.3×平时成绩
- 房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率
上面两个例子，我们看到特征值与目标值之间建立了一个关系，这个关系可以理解为线性模型。
线性回归的特征与目标的关系分析
线性回归当中主要有两种模型，**一种是线性关系，另一种是非线性关系。**在这里我们只能画一个平面更好去理解，所以都用单个特征或两个特征举例子。
-
线性关系
- 单变量线性关系：
-
多变量线性关系
注释：单特征与目标值的关系呈直线关系，或者两个特征与目标值呈现平面的关系
更高维度的我们不用自己去想，记住这种关系即可
-
非线性关系
注释：为什么会这样的关系呢？原因是什么？
如果是非线性关系，那么回归方程可以理解为：w1x1+w2x22+w3x32
线性回归api初步使用
线性回归API
- sklearn.linear_model.LinearRegression()
- LinearRegression.coef_：回归系数
举例
步骤分析
- 1.获取数据集
- 2.数据基本处理（该案例中省略）
- 3.特征工程（该案例中省略）
- 4.机器学习
- 5.模型评估（该案例中省略）
代码过程
- 导入模块
from sklearn.linear_model import LinearRegression
- 构造数据集
x = [[80, 86],
[82, 80],
[85, 78],
[90, 90],
[86, 82],
[82, 90],
[78, 80],
[92, 94]]
y = [84.2, 80.6, 80.1, 90, 83.2, 87.6, 79.4, 93.4]
- 机器学习-- 模型训练
# 实例化API
estimator = LinearRegression()
# 使用fit方法进行训练
estimator.fit(x,y)
estimator.coef_
estimator.predict([[100, 80]])
数学:求导
常见函数的导数
导数的四则运算
练习
矩阵（向量）求导 [了解]
线性回归的损失和优化
假设刚才的房子例子，真实的数据之间存在这样的关系
真实关系：真实房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率
那么现在呢，我们随意指定一个关系（猜测）
随机指定关系：预测房子价格 = 0.25×中心区域的距离 + 0.14×城市一氧化氮浓度 + 0.42×自住房平均房价 + 0.34×城镇犯罪率
请问这样的话，会发生什么？真实结果与我们预测的结果之间是不是存在一定的误差呢？类似这样样子
既然存在这个误差，那我们就将这个误差给衡量出来
损失函数
总损失定义为：
- yi为第i个训练样本的真实值
- h(xi)为第i个训练样本特征值组合预测函数
- 又称最小二乘法
如何去减少这个损失，使我们预测的更加准确些？既然存在了这个损失，我们一直说机器学习有自动学习的功能，在线性回归这里更是能够体现。这里可以通过一些优化方法去优化（其实是数学当中的求导功能）回归的总损失！！！
优化算法
如何去求模型当中的W，使得损失最小？（目的是找到最小损失对应的W值）
线性回归经常使用的两种优化算法
正规方程
什么是正规方程
理解：X为特征值矩阵，y为目标值矩阵。直接求到最好的结果
缺点：当特征过多过复杂时，求解速度太慢并且得不到结果
正规方程求解举例
以下表示数据为例：
即：
运用正规方程方法求解参数：
正规方程的推导
- 推导方式一：
把该损失函数转换成矩阵写法：
其中y是真实值矩阵，X是特征值矩阵，w是权重矩阵
对其求解关于w的最小值，起止y,X 均已知二次函数直接求导，导数为零的位置，即为最小值。
求导：
注：式(1)到式(2)推导过程中, X是一个m行n列的矩阵，并不能保证其有逆矩阵，但是右乘XT把其变成一个方阵，保证其有逆矩阵。
式（5）到式（6）推导过程中，和上类似。
- 推导方式二【拓展】：
https://www.jianshu.com/p/2b6633bd4d47
京公网安备 11010502036488号