GBDT 是通过采用加法模型（即基函数的线性组合），以及不断减小训练过程产生的残差来达到将数据分类或者回归的算法。
图片说明

训练过程：
图片说明

GBDT是通过多次迭代，每轮迭代产生一个弱分类器（一般选择CART树），每个分类器在上一轮分类器残差的基础上进行训练。
如果我们选用平方损失函数，那这个差值就是残差。我们关注的是希望损失函数不断减小且尽可能快的减小，从而尽快的收敛到局部最优解或全局最优解，所以让损失函数沿着梯度方向减小，这就是GBDT的GB的核心。