子永

分类

html学习笔记(12) opencv(1) Python3+opencv 笔记(31) 其它(1) 文献阅读(1) 树莓派学习笔记(4) 爬虫(1) 读书笔记(44)

/ 注册

全部文章（共95篇）

《神经网络与深度学习》读书笔记

8.5 记忆增强神经网络

2021-08-07

0 0

《神经网络与深度学习》读书笔记

8.2 注意力机制 8.3 自注意力模型

2021-08-07

0 0

《神经网络与深度学习》8.1读书笔记

第8章注意力机制与外部记忆根据通用近似定理，前馈网络和循环网络都有很强的能力．但由于优化算法和计算能力的限制，在实践中很难达到通用近似的能力．特别是在处理复杂任务时，比如需要处理大量的输入信息或者复杂的计算流程时，目前计算机的计算能力依然是限制神经网络发展的瓶颈。神经网络中可以存储的信息量称...

2021-07-23

0 0

《神经网络与深度学习》7.7读书笔记

7.7 网络正则化正则化（Regularization）是一类通过限制模型复杂度，从而避免过拟合，提高泛化能力的方法，比如引入约束、增加先验、提前停止等。 7.7.1 L1 L2 正则化 7.7.2 权重衰减 7.7.3 提前停止提前停止（Early Stop）对于深度神经网络来说是...

2021-07-16

0 0

《神经网络与深度学习》7.6读书笔记

7.6 超参数优化常见超参数1 网络结构包括神经元的链接关系层数、每层神经元的数量、激活函数的类型等。2 优化参数包括优化方法、学习率、小批量的样本数量等。3 正则化系数 7.6.1 网格搜索网格搜索（Grid Search）是一种通过尝试所有超参数的组合来寻址合适一组超参数配置的...

2021-07-09

0 0

《神经网络与深度学习》7.5读书笔记

7.5 逐层归一化逐层归一化（Layer-wise Normalization）是将传统机器学习中的数据归一化方法应用到深度神经网络中，对神经网络中隐藏层的输入进行归一化，从而使得网络更容易训练。逐层归一化可有效提高训练效率的原因有：更好的尺度不变性更平滑的优化地形常用归一化方法有...

2021-07-02

0 0

《神经网络与深度学习》7.4读书笔记

7.4 数据预处理一般而言，样本特征由于来源以及度量单位不同，它们的尺度（Scale）（即取值范围）往往差异很大．以描述长度的特征为例，当用“米”作单位时令其值为𝑥，那么当用“厘米”作单位时其值为100𝑥．不同机器学习模型对数据特征尺度的敏感程度不一样．如果一个机器学习算法在缩放全部或部分特...

2021-06-25

0 435

《神经网络与深度学习》7.3读书笔记

7.3 参数初始化神经网络的参数学习是一个非凸优化问题．当使用梯度下降法来进行优化网络参数时，参数初始值的选取十分关键，关系到网络的优化效率和泛化能力．参数初始化的方式通常有以下三种：预训练初始化：不同的参数初始值会收敛到不同的局部最优解．虽然这些局部最优解在训练集上的损失比较接近，但是它...

2021-06-18

0 0

《神经网络与深度学习》7.2读书笔记

7.2 优化算法目前，深度神经网络的参数学习主要是通过梯度下降法来寻找一组可以最小化结构风险的参数．在具体实现中，梯度下降法可以分为：批量梯度下降、随机梯度下降以及小批量梯度下降三种形式．根据不同的数据量和参数量，可以选择一种具体的实现形式．本节介绍一些在训练神经网络时常用的优化算法．这些优化算...

2021-06-11

0 0

《神经网络与深度学习》7.1读书笔记

网络优化与正则化目前，研究者从大量的实践中总结了一些经验方法，在神经网络的表示能力、复杂度、学习效率和泛化能力之间找到比较好的平衡，并得到一个好的网络模型．本章从网络优化和网络正则化两个方面来介绍这些方法．在网络优化方面，介绍一些常用的优化算法、参数初始化方法、数据预处理方法、逐层归一化方法和超参...

2021-06-03

0 0