是一个优化算法
非常通用的算法，帮助其他算法进行优化
经典的常用的优化算法
如果损失函数不是凸函数，用解析解的方法就有点失灵了
用解析解的方法求theta还有个原因就是，特征维度并不多
随着维度增加，求逆就会非常的困难
梯度下降就是一步一步的逼近最优解
梯度下降的思想（对损失函数进行的操作）：
1.
梯度下降法流程：
1.瞎蒙，random随机theta，随机一组数值
2.求梯度
3.if g<0,theta 变大，if g>0,theta变小
4.判断是否收敛，如果收敛跳出迭代，如果没有进入第二步。
不同的算法loss函数是不一样的
京公网安备 11010502036488号