子永

读书笔记

html学习笔记(12) opencv(1) Python3+opencv 笔记(31) 其它(1) 文献阅读(1) 树莓派学习笔记(4) 爬虫(1)

/ 注册

全部文章 / 读书笔记（共44篇）

《神经网络与深度学习》读书笔记

5.3 参数学习在卷积网络中，参数为卷积核中权重以及偏置．和全连接前馈网络类似，卷积网络也可以通过误差反向传播算法来进行参数学习。在全连接前馈神经网络中，梯度主要通过每一层的误差项𝛿 进行反向传播，并进一步计算每层参数的梯度。在卷积神经网络中，主要有两种不同功能的神经层：卷积层和汇聚层...

2021-03-19

0 0

《神经网络与深度学习》第5章读书笔记

5.2 卷积神经网络卷积神经网络一般由卷积层、汇聚层和全连接层构成。5.2.1 用卷积代替全连接在全连接的前馈神经网络中，由于权重矩阵中的权重参数的数量会非常多，导致训练效率会非常低。使用卷积可以减少。根据卷积的定义，卷积层有两个很重要的性质局部连接局部连接在卷积层(偎设是第l层)中的...

2021-03-12

0 0

《神经网络与深度学习》第5章读书笔记

第五章：卷积神经网络卷积神经网络（Convolutional Neural Network，CNN或ConvNet）是一种具有局部连接、权重共享等特性的深层前馈神经网络。在用全连接前馈网络来处理图像时，会存在以下两个问题：参数太多：如果输入图像大小为100× 100 × 3（即图像高度为10...

2021-03-04

0 0

《神经网络与深度学习》读书笔记

4.6 优化问题神经网络的参数学习比线性模型要更加困难，主要原因有两点：1）非凸优化问题和 2）梯度消失问题.非凸优化问题神经网络的优化问题是一个非凸优化问题。梯度消失问题由于Sigmoid型函数的饱和性，饱和区的导数更是接近于0．这样，误差经过每一层传递都会不断衰减．当网络层数很深时...

2021-02-27

0 0

《神经网络与深度学习》4.5读书笔记

4.5 自动梯度计算神经网络的参数主要通过梯度下降来进行优化．当确定了风险函数以及网络结构后，我们就可以手动用链式法则来计算风险函数对每个参数的梯度，并用代码进行实现．但是手动求导并转换为计算机程序的过程非常琐碎并容易出错,导致实现神经网络变得十分低效．实际上，参数的梯度可以让计算机来自动计 ...

2021-02-20

0 573

《神经网络与深度学习》4.4读书笔记

反向传播算法（BP） BP算法(即反向传播算法)适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。BP网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性。它的信息处理能力来源于简...

2021-02-05

0 0

《神经网络与深度学习》4.3读书笔记

4.3 前馈神经网络在前馈神经网络中，各神经元分别属于不同的层。每一层的神经元可以接收前一层神经元的信号，并产生信号输出到下一层。第0层称为输入层，最后一层称为输出层，其他中间层称为隐藏层。整个网络中无反馈，信号从输入层向输出层单向传播，可用一个有向无环图表示。 4.3.1 通用近似定理 ...

2021-01-29

0 0

《神经网络与深度学习》4.2 读书笔记

4.2 网络结构一个生物神经细胞的功能比较简单，而人工神经元只是生物神经细胞的理想化和简单实现，功能更加简单．要想模拟人脑的能力，单一的神经元是远远不够的，需要通过很多神经元一起协作来完成复杂的功能，这样通过一定的连接方式或信息传递方式进行协作的神经元可以看作一个网络，就是神经网络。 4.2...

图神经网络网络结构神经网络

2021-01-23

0 0

《神经网络与深度学习》第四章读书笔记

第四章：前馈神经网络人工神经网络（Artificial Neural Network，ANN）是指一系列受生物学和神经科学启发的数学模型．这些模型主要是通过对人脑的神经元网络进行抽象，构建人工神经元，并按照一定拓扑结构来建立人工神经元之间的连接，来模拟生物神经网络．在人工智能领域，人工神经网...

2021-01-11

0 0

《神经网络与深度学习》读书笔记

第三章和回归问题不同，分类问题中的目标标签𝑦是离散的类别标签，因此分类问题中的决策函数需要输出离散值或是标签的后验概率．线性分类模型一般是一个广义线性函数，即一个或多个线性判别函数加上一个非线性激活函数．所谓“线性”是指决策边界由一个或多个超平面组成。logistic 回归简单来说，逻...

2020-12-27

0 0