想回老家的潜伏者躺平又起来了

分类

Git(1) Lasso(1) Linux(1) Python(2) Scala(7) SVM(1) TensorFlow(3) 其他(1) 图表示学习(1) 工具介绍(1) 强化学习(1) 推荐系统(1) 未归档(73) 机器学习(8) 深度学习(2) 聚类和EM算法(1)

/ 注册

全部文章（共105篇）

深度学习中的优化方法

梯度下降沿着整个训练集的梯度方向下降。可以使用随机梯度下降很大程度地加速，沿着随机挑选的小批量数据的梯度下降。批量算法和小批量算法使用小批量的原因 n个样本均值的标准差是 <nobr> σn√ </nobr>，其中 <nobr&...

2017-10-03

0 910

深度学习中的正则化方法

引入正则化在深度学习背景下，大多数正则化策略都会对估计进行正则化。估计的正则化以偏差的增加换取方差的减少。一个有效的正则化是有利的权衡，也就是能显著减少方差而不过度增加偏差。参数范数惩罚许多正则化方法通过对目标函数 <nobr> J </nobr>添...

2017-10-01

0 591

深度学习中激活函数的选择

为什么引入非线性激活函数如果不使用非线性的激活函数，无论叠加多少层，最终的输出依然只是输入的线性组合。引入非线性的激活函数，使得神经网络可以逼近任意函数。常用激活函数 sigmoid函数 <nobr> σ(z)=11+e−z </nobr&g...

2017-10-01

0 909

无约束最优化方法

梯度下降法牛顿法牛顿法要求函数具有二阶连续偏导数，利用了函数在极小值点处一阶偏导数为0的必要条件进行优化。拟牛顿法基本思想在牛顿迭代法中，需要计算Hessian矩阵的的逆矩阵 <nobr> H−1 </nobr>，这一计算比较...

2017-10-01

0 580

性能度量

测试准确率和测试错误率混淆矩阵查准率和查全率(TPR)和FPR 查全率TPR 查准率 FPR 实际未负的样本中被错分为正样本的比例。权衡查全率导向任务传统的搜索和信息提取瘤检测经常伴随人类专家过滤处假正例 ...

2017-09-29

0 384

LightGBM原理简介

提升方法树的生长策略 LightGBM的改进直方图优化通过直方图算法对内存的使用进行优化。直方图作差加速选取样本量少的叶子结点进行统计，就可以通过作差得到另一个叶子结点直方图。带深度限制的叶子生长策略提升缓存命中率 ...

2017-09-28

0 1266

XGBoost原理简介

模型函数形式正则化的目标函数梯度提升树令 <nobr> y^(t)i </nobr>表示第t次迭代时对第i个样本的预测值。现在需要添加 <nobr> ft </nobr>来使得下面的目标函数最小化 ...

2017-09-28

0 730

Bagging与随机森林

Bagging Bagging是Bootstrap AGGregatING的缩写。 Bagging基于自助采样法(bootstrap sampling)。给定包含m个样本的数据集，先随机取出一个样本放入采样集中，再把该样本放回初始数据集，使得下次采样时该样本仍有可能被选中。这样，经过m次随机采样...

2017-09-26

0 562

密度聚类DBSCAN

密度聚类基于密度的聚类，假设聚类结构能够通过样本分布的紧密程度确定。通常情况下，密度聚类算法从样本密度的角度来考察样本之间的可连接性。基于密度聚类的特性发现任意形状的聚类处理噪声一遍扫描（只检查局部区域来判断密度）需要密度参数作为终止条件一些研究 ...

2017-09-25

0 619

Scala函数式程序设计 week4 Timely Effects

2017-09-25

0 362