线性回归法

简介

解决回归问题，思想简单，实现容易，许多强大的非线性模型的基础，结果具有很好的可解释性，蕴含机器学习中的很多重要思想。

简单线性回归

$y^{\left(i\right)}=a{x}^{\left(i\right)}+b$y(i)=ax(i)+b
其中 ${\widehat{y}}^{\left(i\right)}$y^​(i)为预测值

我们希望 $y^{\left(i\right)}$y(i)与 ${\widehat{y}}^{\left(i\right)}$y^​(i)的差距尽可能小,考虑所有样本：
$\sum _{i=1}^m(y^{\left(i\right)}-{\widehat{y}}^{\left(i\right)}{)}^2$i=1∑m​(y(i)−y^​(i))2
目标: 找到a和b，使得 ${\sum }_{i=1}^m(y^{\left(i\right)}-{\widehat{y}}^{\left(i\right)}{)}^2$i=1∑m​(y(i)−y^​(i))2尽可能小

典型的最小二乘法问题：最小化误差的平方
$a=\frac{\sum _{i=1}^m(x^{\left(i\right)}-\bar{x})(y^{\left(i\right)}-\bar{y})}{\sum _{i=1}^m(x^{\left(i\right)}-\bar{x}{)}^2}$a=i=1∑m​(x(i)−xˉ)2i=1∑m​(x(i)−xˉ)(y(i)−yˉ​)​
$b=\bar{y}-a\bar{x}$b=yˉ​−axˉ

向量化运算

$\sum _{i=1}^m{w}^{\left(i\right)}\cdot v^{\left(i\right)}⟹w\cdot v$i=1∑m​w(i)⋅v(i)⟹w⋅v
w=(w(1),w(2),⋯,w(m))
v=(v(1),v(2),⋯,v(m))

回归算法的评价

均方误差MSE(Mean Squared Error)

$MSE=\frac{1}{m}\sum _{i=1}^m(y_{test}^{\left(i\right)}-{\widehat{y}}_{test}^{\left(i\right)}{)}^2$MSE=m1​i=1∑m​(ytest(i)​−y^​test(i)​)2

均方根误差RMSE(Root Mean Squared Error)

$RMSE=\sqrt{\frac{1}{m}\sum _{i=1}^m(y_{test}^{\left(i\right)}-{\widehat{y}}_{test}^{\left(i\right)}{)}^2}$RMSE=m1​i=1∑m​(ytest(i)​−y^​test(i)​)2 ​

平均绝对误差MAE(Mean Absolute Error)

$MAE=\frac{1}{m}\sum _{i=1}^m\mid y_{test}^{\left(i\right)}-{\widehat{y}}_{test}^{\left(i\right)}\mid$MAE=m1​i=1∑m​∣ytest(i)​−y^​test(i)​∣

from sklearn.metrics import mean_squared_error
from sklearn.metrics import mean_absolute_error

msek = mean_squared_error(y_test,y_predict)
maek = mean_absolute_error(y_test,y_predict)

R Square

最好的衡量线性回归法的指标
$R^2=1-\frac{\sum _{i=1}^m({\widehat{y}}^{\left(i\right)}-y^{\left(i\right)}{)}^2}{\sum _{i=1}^m(\bar{y}-y^{\left(i\right)}{)}^2}=1-\frac{\sum _{i=1}^m({\widehat{y}}^{\left(i\right)}-y^{\left(i\right)}{)}^2/m}{\sum _{i=1}^m(\bar{y}-y^{\left(i\right)}{)}^2/m}=1-\frac{MSE(\widehat{y},y)}{Var\left(y\right)}$R2=1−i=1∑m​(yˉ​−y(i))2i=1∑m​(y^​(i)−y(i))2​=1−i=1∑m​(yˉ​−y(i))2/mi=1∑m​(y^​(i)−y(i))2/m​=1−Var(y)MSE(y^​,y)​
其中分子是使用我们的模型预测产生的错误，分母是使用 $y=\bar{y}$y=yˉ​预测产生的错误
$R^2\le 1$R2≤1
$R^2$R2越大越好，当我们的预测模型不犯任何错误时， $R^2$R2得到最大值1
当我们的模型等于基准模型时， $R^2$R2为0
如果 $R^2\&lt;0$R2<0，说明我们学习到的模型还不如基准模型。此时，很有可能我们的数据不存在任何线性关系。

from sklearn.metrics import r2_score
print(r2_score(y_test,y_predict))

多元线性回归

x(i)=(X1(i)​,X2(i)​,⋯,Xn(i)​)

$y={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n$y=θ0​+θ1​x1​+θ2​x2​+⋯+θn​xn​

${\widehat{y}}^{\left(i\right)}={\theta }_0+{\theta }_1{X}_1^{\left(i\right)}+{\theta }_2{X}_2^{\left(i\right)}+\cdots +{\theta }_n{X}_n^{\left(i\right)}$y^​(i)=θ0​+θ1​X1(i)​+θ2​X2(i)​+⋯+θn​Xn(i)​，其中 $X_0^{\left(i\right)}=1$X0(i)​=1

θ=(θ0​,θ1​,θ2​,⋯,θn​)T

目标：使 ${\sum }_{i=1}^m(y^{\left(i\right)}-{\widehat{y}}^{\left(i\right)}{)}^2$i=1∑m​(y(i)−y^​(i))2尽可能小

X(i)=(X0(i)​,X1(i)​,X2(i)​,⋯,Xn(i)​)
$X_b=\left(\begin{array}{ccccc}1& X_1^{\left(1\right)}& X_2^{\left(1\right)}& \dots & X_n^{\left(1\right)}\\ 1& X_1^{\left(2\right)}& X_2^{\left(2\right)}& \dots & X_n^{\left(2\right)}\\ \cdots & & & & \cdots \\ 1& X_1^{\left(m\right)}& X_2^{\left(m\right)}& \dots & X_n^{\left(m\right)}\end{array}\right)$Xb​=⎝⎜⎜⎜⎛​11⋯1​X1(1)​X1(2)​X1(m)​​X2(1)​X2(2)​X2(m)​​………​Xn(1)​Xn(2)​⋯Xn(m)​​⎠⎟⎟⎟⎞​
$\theta =\left(\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ \cdots \\ {\theta }_n\end{array}\right)$θ=⎝⎜⎜⎜⎜⎛​θ0​θ1​θ2​⋯θn​​⎠⎟⎟⎟⎟⎞​
$\widehat{y}=X_b\cdot \theta$y^​=Xb​⋅θ

多元线性回归的正规方程解(Normal Equation)

$\theta =(X_b^T{X}_b{)}^{-1}{X}_b^{T}y$θ=(XbT​Xb​)−1XbT​y
时间复杂度高： $O\left(n^3\right)$O(n3)优化过后 $O\left(n^{2.4}\right)$O(n2.4)
优点：不需要对数据做归一化处理

sklearn中的回归问题

from sklearn.linear_model import LinearRegression
lin_reg = LinearRegression()
lin_reg.fit(X_train,y_train)
print(lin_reg.coef_)
print(lin_reg.intercept_)

from sklearn.neighbors import KNeighborsRegressor
knn_reg =KNeighborsRegressor()
knn_reg.fit(X_train,y_train)
aa = knn_reg.score(X_test,y_test)
print(aa)

线性回归算法总结

1.典型的参数学习，而KNN是非参数学习
2.只能解决回归问题，虽然很多分类方法中，线性回归是基础。而KNN既可以解决分类问题，也可以解决回归问题。