集成学习

学习目标

  • 了解集成学习中主要解决的两个核心任务
  • 知道bagging集成原理
  • 知道随机森林决策树的建立过程
  • 知道为什么需要随机有放回(Bootstrap)的抽样
  • 应用RandomForestClassifie实现随机森林算法
  • 知道boosting集成原理
  • 知道bagging和boosting的区别
  • 了解gbdt实现过程

5.1 集成学习算法简介

1 什么是集成学习

集成学习通过建立几个模型来解决单一预测问题。它的工作原理是生成多个分类器/模型,各自独立地学习和作出预测。这些预测最后结合成组合预测,因此优于任何一个单分类的做出预测。

2 复习:机器学习的两个核心任务

3 集成学习中boosting和Bagging

只要单分类器的表现不太差,集成学习的结果总是要好于单分类器的.