提升方法


树的生长策略


LightGBM的改进


直方图优化



通过直方图算法对内存的使用进行优化。

直方图作差加速


选取样本量少的叶子结点进行统计，就可以通过作差得到另一个叶子结点直方图。

带深度限制的叶子生长策略

提升缓存命中率


类别特征支持

并行学习支持

特征并行


数据并行


投票并行

投票并行，合并部分特征的直方图，降低通信量。

Voting parallel，参考论文“A Communication-Efficient Parallel Algorithm for Decision Tree”

其他特性



https://www.zhihu.com/question/64943934

参考资料

原论文http://papers.nips.cc/paper/6907-lightgbm-a-highly-efficient-gradient-boosting-decision-tree
如何玩转LightGBM Taifeng Wang
GBDT算法原理与系统设计简介 weapon