深度学习，学习深入

深度学习

学习-机器学习(3) 实习(2) 数据结构(2) 未归档(2) 读书笔记(2)

/ 注册

全部文章 / 深度学习（共6篇）

Dropout

深度学习模型常常使用丢弃法（dropout）来应对过拟合问题drop_probability丢弃的概率，会被清0.

2019-08-01

0 407

初始化参数

继承block类，来构造新的模型，sequential也是继承的block类，我们一般用sequential（）用继承block来自己构造的原因是，很灵活。 class NestMLP(nn.Block): def __init__(self, **kwargs): supe...

2019-08-01

0 499

RNN（循环神经网络）

何时用 RNN 何时用前馈网络呢？前馈神经网络，它会输出一个数据，可以用来做分类或者回归。RNN 适合时间序列的数据，它的输出可以是一个序列值或者一序列的值。（自然语言）所以说，如果要做分类或者回归的话，可以用前馈是神经网络，如果要预测的话，可以用循环神经网络。 RNN采样随机采样：num_step...

2019-08-01

0 505

CNN(卷积神经网络）

卷积：padding(填充）就是在周围增加一些层，增多数据。pooling(池化层）减轻对每个数字的敏感度。为什么用卷积神经网络1.图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。2.对于大尺寸的输入图像，使用全连接层容易导致模型过大。假设输入是高和宽均为 1,0...

2019-08-01

0 1396

多层感知机

多层感知机输入，隐藏层，输出层，激活函数：ReLU(𝑥)=max(𝑥,0). 多层线性，会叠加为一个，所以要用一个非线性的函数在中间，这个就是激活函数。定义模型：欠拟合和过拟合欠拟合；机器学习模型无法得到较低训练误差过拟合： L2范数正则化(用于防止过拟合）loss+w=w-lrgradw=w...

2019-08-01

0 539

深度学习之线性回归（单层网络）

深度学习是机器学习的一个分支。多层感知机可以摆脱早期离散传输函数的束缚，使用sigmoid或tanh等连续函数模拟神经元对激励的响应，在训练算法上则使用Werbos发明的反向传播BP算法。线性回归：单层网络读数据定义模型： nd.dot(X, w)+b 函数：net(X)损失函数：用平方误...

2019-08-01

0 576