梯度下降法


牛顿法

牛顿法要求函数具有二阶连续偏导数，利用了函数在极小值点处一阶偏导数为0的必要条件进行优化。

拟牛顿法

基本思想
在牛顿迭代法中，需要计算Hessian矩阵的的逆矩阵 <nobr> H−1 </nobr>，这一计算比较复杂，考虑用一个n阶矩阵 <nobr> Gk=G(x(k)) </nobr>来近似代替 <nobr> H−1k=H−1(x(k)) </nobr>。

BFGS

Broyden类算法


参考资料

《统计学习方法》 附录