子永

读书笔记

html学习笔记(12) opencv(1) Python3+opencv 笔记(31) 其它(1) 文献阅读(1) 树莓派学习笔记(4) 爬虫(1)

/ 注册

全部文章 / 读书笔记（共44篇）

《神经网络与深度学习》6.8读书笔记

6.8 扩展到图结构如果将循环神经网络按时间展开，每个时刻的隐状态𝒉𝑡 看作一个节点，那么这些节点构成一个链式结构，每个节点𝑡 都收到其父节点的消息（Message），更新自己的状态，并传递给其子节点．而链式结构是一种特殊的图结构，我们可以比较容易地将这种消息传递（Message Pass...

2021-05-31

0 0

《神经网络与深度学习》6.7读书笔记

6.7 深层循环神经网络如果将深度定义为网络中信息传递路径长度的话，循环神经网络可以看作既“深”又“浅”的网络．一方面来说，如果我们把循环网络按时间展开，长时间间隔的状态之间的路径很长，循环网络可以看作一个非常深的网络．从另一方面来说，如果同一时刻网络输入到输出之间的路径𝒙𝑡 → 𝒚𝑡，...

2021-05-21

0 0

《神经网络与深度学习》6.6读书笔记

6.6 基于门控的循环神经网络为了改善循环神经网络的长程依赖问题，一种非常好的解决方案是在公式(6.50)的基础上引入门控机制来控制信息的累积速度，包括有选择地加入新的信息，并有选择地遗忘之前累积的信息．这一类网络可以称为基于门控的循环神经网络（Gated RNN）．本节中，主要介绍两种基于门...

2021-05-14

0 0

《神经网络与深度学习》6.5读书笔记

6.5 长程依赖问题循环神经网络在学习过程中的主要问题是由于梯度消失或爆炸问题，很难建模长时间间隔（Long Range）的状态之间的依赖关系． 6.5.1 改进方案

2021-05-07

0 0

《神经网络与深度学习》6.4读书笔记

循环神经网络的参数可以通过梯度下降方法来进行学习 6.4.1 随时间反向传播算法 6.4.2 实时循环学习算法

2021-04-30

0 0

《神经网络与深度学习》6.3读书笔记

6.3 应用到机器学习循环神经网络可以应用到很多不同类型的机器学习任务．根据这些任务的特点可以分为以下几种模式：序列到类别模式、同步的序列到序列模式、异步的序列到序列模式。 6.3.1 序列到类别模式序列到类别模式主要用于序列数据的分类问题：输入为序列，输出为类别．比如在文本分类中，输入数...

2021-04-23

0 0

《神经网络与深度学习》读书笔记

6.2 简单循环网络简单循环网络（Simple Recurrent Network，SRN）[Elman, 1990] 是一个非常简单的循环神经网络，只有一个隐藏层的神经网络．在一个两层的前馈神经网络中,连接存在相邻的层与层之间，隐藏层的节点之间是无连接的．而简单循环网络增加了从隐藏层到隐藏层...

2021-04-16

0 0

《神经网络与深度学习》读书笔记

第6章循环神经网络在前馈神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更容易学习，但在一定程度上也减弱了神经网络模型的能力．在生物神经网络中，神经元之间的连接关系要复杂得多．前馈神经网络可以看作一个复杂的函数，每次输入都是独立的，即网络的输出只依赖于当前的输入．但是在很多现实任务中，...

2021-04-09

0 0

《神经网络与深度学习》读书笔记

5.5 其他卷积方式 5.5.1 转置卷积 5.5.2 空洞卷积空洞卷积（Atrous Convolution）是一种不增加参数数量，同时增加输出单元感受野的一种方法，也称为膨胀卷积。空洞卷积通过给卷积核插入“空洞”来变相地增加其大小．如果在卷积核的每两个元素之间插入𝐷 − 1 ...

2021-04-02

0 0

《神经网络与深度学习》读书笔记

5.4 几种典型的卷积神经网络 5.4.1 LeNet-5 LeNet-5 共有7 层，接受输入图像大小为32 × 32 = 1 024，输出对应10 个类别的得分．LeNet-5 中的每一层结构如下： 5.4.2 AlexNet AlexNet 的结构如下图所示，包括5 个卷积层、3 ...

2021-03-26

0 0