想回老家的潜伏者躺平又起来了

未归档

Git(1) Lasso(1) Linux(1) Python(2) Scala(7) SVM(1) TensorFlow(3) 其他(1) 图表示学习(1) 工具介绍(1) 强化学习(1) 推荐系统(1) 机器学习(8) 深度学习(2) 聚类和EM算法(1)

/ 注册

全部文章 / 未归档（共73篇）

《卷积网络》卷积神经网络基础

边缘检测例子填充Padding Valid Padding p=0,output=1+n−fs p = 0 , ...

2017-11-21

0 396

深度学习之参数初始化策略

为什么需要参数初始化策略目的为了让神经网络在训练过程中学习到有用的信息，需要参数更新时的梯度不为0。在一般的全连接网络中，参数更新的梯度和反向传播得到的状态梯度以及输入激活值有关。那么参数初始化应该满足以下两个条件： 1. 初始化必要条件一：各层激活值不会出现饱和现象(对于sigmoid,...

2017-10-13

0 679

主成分分析PCA

向量空间基我们所说的向量其实是向量坐标和向量空间的基构成的线性组合。要准确的描述向量，首先需要确定向量空间的一组基，然后在通常的二维坐标系中，我们选中基为 <nobr> (1,0)T </nobr>和 <nobr> (0...

2017-10-12

0 625

在线学习算法FTRL-Proximal

本文根据Google2013年发表的论文《Ad Click Prediction: a View from the Trenches》总结。 CTR预估中的在线学习算法在广告点击率预估模型中，面临着特征维度巨大的问题，这导致了模型参数的存储空间极高，以及模型进行预测时的时间代价大的问题。 O...

2017-10-09

0 1271

特征选择的方法

常见的特征选择方法大致可分为三类：过滤式(filter)，包裹式(wrapper)和嵌入式(embedding) 过滤式选择过滤式方法先对数据集进行特征选择，然后再训练学习器，特征选择过程与后续学习器无关。相当于先用特征选择过程个对初始特征进行“过滤”，再用过滤后的特征来训练模型。方差...

2017-10-09

0 629

深度学习之循环神经网络

循环神经网络或RNN是一类用于处理序列数据的神经网络。展开计算图考虑一个又外部信号 <nobr> x(t) </nobr>驱动的动态系统， <nobr> s(t)=f(s(t−1),x(t);θ) </nobr>...

2017-10-05

0 983

深度学习之卷积网络

卷积运算 <nobr> s(t)=∫x(a)w(t−a)da </nobr> 这种操作叫做卷积。卷积运算通常用星号表示： <nobr> s(t)=(x∗w)(t) </nobr> 卷积的第一个参数通常叫做输入，第...

2017-10-04

0 519

深度学习中的优化方法

梯度下降沿着整个训练集的梯度方向下降。可以使用随机梯度下降很大程度地加速，沿着随机挑选的小批量数据的梯度下降。批量算法和小批量算法使用小批量的原因 n个样本均值的标准差是 <nobr> σn√ </nobr>，其中 <nobr&...

2017-10-03

0 910

深度学习中的正则化方法

引入正则化在深度学习背景下，大多数正则化策略都会对估计进行正则化。估计的正则化以偏差的增加换取方差的减少。一个有效的正则化是有利的权衡，也就是能显著减少方差而不过度增加偏差。参数范数惩罚许多正则化方法通过对目标函数 <nobr> J </nobr>添...

2017-10-01

0 591

深度学习中激活函数的选择

为什么引入非线性激活函数如果不使用非线性的激活函数，无论叠加多少层，最终的输出依然只是输入的线性组合。引入非线性的激活函数，使得神经网络可以逼近任意函数。常用激活函数 sigmoid函数 <nobr> σ(z)=11+e−z </nobr&g...

2017-10-01

0 909