喵星人_Cat

分类

Hadoop Yarn(1) Python爬虫(1) 博客(1) 操作系统(4) 数据库(5) 未归档(100) 机器学习(24) 海量数据处理(2) 编程语言(16) 网络(4) 网络安全(1)

/ 注册

全部文章（共157篇）

XGBoost、LightGBM的详细对比介绍

sklearn集成方法集成方法的目的是结合一些基于某些算法训练得到的基学习器来改进其泛化能力和鲁棒性(相对单个的基学习器而言)主流的两种做法分别是： bagging 基本思想独立的训练一些基学习器(一般倾向于强大而复杂的模型比如完全生长的决策树)，然后综合他们的预测结果，通常集成模型的效果会优于...

2018-03-20

1 1209

支持向量机（SVM）必备知识(KKT、slater、对偶）

SVM目前被认为是最好的现成的分类器，SVM整个原理的推导过程也很是复杂啊，其中涉及到很多概念，如：凸优化问题、拉格朗日乘子法、对偶问题，slater条件、KKT条件还有复杂的SMO算法！相信有很多研究过SVM的小伙伴们为了弄懂它们也是查阅了各种资料，着实费了不少功夫！本文便针对SVM涉及到的这些复...

2018-03-20

0 765

七种回归技术

摘要：本文解释了回归分析及其优势，重点总结了应该掌握的线性回归、逻辑回归、多项式回归、逐步回归、岭回归、套索回归、ElasticNet回归等七种最常用的回归技术及其关键要素，最后介绍了选择正确的回归模型的关键因素。【编者按】回归分析是建模和分析数据的重要工具。本文解释了回归分析的内涵及其优势...

2018-03-17

1 853

ridge、lasso、ElasticNet回归

在使用机器学习方法进行预测时，往往会出现这种情况：训练出的模型在训练集上的效果很好，但是在测试集上的效果很差，这种情况称为过拟合；如果模型本身在训练集上的效果就很差，这种情况称之为欠拟合。为了防止过拟合的现象出现，学者对线性回归进行了优化，于是产生了ridge、lasso还有ElasticNet回归...

2018-03-17

0 655

logistic regression逻辑回归算法详解

1.参考资料这次不同的是，我要先列举几个自己参考的文献，博客等。真的是从里面受益匪浅，这也是我主要的参考资料。如果有需要的童鞋，可以先看它们。 1）.http://blog.csdn.net/zouxy09/article/details/24971995/（讲L0，L1，L2范数讲的不错哦） 2...

2018-03-17

0 588

机器学习中的范数规则化之L0、L1与L2范数

今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。 ...

2018-03-16

0 616

Python scikit-learn机器学习工具包学习笔记：cross_validation模块

sklearn.cross_validation模块的作用顾名思义就是做crossvalidation的。 crossvalidation大概的意思是：对于原始数据我们要将其一部分分为train data，一部分分为testdata。train data用于训练，test ...

2018-03-15

0 565

ElasticNet回归及机器学习正则化(linear_model.ElasticNetCV)

要想理解ElasticNet回归，正则化是必须要首先知道的，其次是岭回归和Lasso回归，知道了这些，弹性网回归自然也就明白了。首先来看正则化：假设我们都知道利用最小二乘法来做线性回归，最小二乘法回归成功的条件是（我得承认以下的所有图都是我盗的）：即上面这个函数（...

2018-03-15

0 843

GBDT：梯度提升决策树

综述 GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强...

2018-03-11

0 921

机器学习中Bagging和Boosting的区别

Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。首先介绍Bootstraping，即自助法：它是一种有放回的抽样方法（可能抽到重复的样本）。 1. B...

2018-03-10

0 501