决策树算法

朴素贝叶斯要求特征相互独立，只能处理文本这种，更好的分类要用到决策树，决策树后面还有更更好的随机森林属于集成学习可以解决很多的事情

学完决策树算法，您应该掌握

决策树+集成学习可以解决很多的事情

决策树适合处理金融数据（结构化数据如用户信息历史记录）

用户评分、风险用户的识别

决策树可以解决分类、回归都可以做，模型复杂度大，容易过拟合。会用到分类树和回归树

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-else结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法

决策树：是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果，本质是一颗由多个判断节点组成的树。本质是一颗由多个判断节点组成的树

怎么理解这句话？通过一个对话例子

为什么先问年龄？因为年龄女生觉得最重要

年龄这个特征对目标值最重要

左子树里面，长相最重要

根节点：寻找对目标值影响最重要的特征和特征的划分方式

想一想这个女生为什么把年龄放在最上面判断！！！！！！！！！

上面案例是女生通过定性的主观意识，把年龄放到最上面，那么如果需要对这一过程进行量化，该如何处理呢？

此时需要用到信息论中的知识：信息熵，信息增益