boost家族

常见算法：

  • Adaboost
  • GBDT
  • XGboost

Adaboost每一轮的基分类器都可以独挡一面，但是基于梯度的方法不行，因为每一轮的基础分类器学习的目标都是拟合残差，所以有 就是每一轮的结果都需要加上上一轮的结果，adaboost并非如此

总结：

  • GBDT每一轮学习的目标不是原始数据的label，是残差（负梯度），学到的只是残差函数，之后都要更新成强学习器
  • Aaboost每一轮学习的目标是原始数据的label，学到的是一个弱分类器

GBDT 最佳讲解 https://blog.csdn.net/zpalyq110/article/details/79527653

对于回归问题，梯度就是y-f(x)

cart树的生成算法

image

总结：

  • 选择最佳的切分特征和特征切分点
  • 为二叉树的两个节点给出label
  • 递归建树

GBDT回归算法

https://www.cnblogs.com/pinard/p/6140514.html

image

分类算法跟回归的不同之处

  • 负梯度计算不同（loss不同）
  • 最佳负梯度（残差）的拟合不同

整体框架都是相同的