1. 最优化就是函数的极大值或者极小值
    这个函数一般是损失函数loss function,极大值和极小值一般可以转化,只要加负号就可以了
    局部极小值,邻域内,此函数的值最小
  2. 迭代求解的原因
    求极值点,一般求得导数等于零或者梯度等于零,就是疑似的极值点,找到疑似的极值,及驻点
    对于一些函数很难通过求导数求得极值点,只能一步一步的迭代,说白了就是一个值一个值的试。
    梯度下降发:找一个初始值
    牛顿法