ImageNet Classification with Deep Convolutional Neural Networks 学习笔记
Deep Convolutional Neural Network 深度卷积神经网络(DCNN);
Abstract 概要
convolutional adj. 卷积的；回旋的；脑回的;
high-resolution 高分辨率;
state-of-the-art 最先进的;
parameter 参数;
neurons 神经元;
layer 层;
max-pooling layers 最大池化层;
softmax:
softmax 函数通常被用于将原始分数（raw score）的矢量转换成用于分类的神经网络的输出层上的类概率（class probability）。它通过对归一化常数（normalization constant）进行指数化和相除运算而对分数进行规范化。如果我们正在处理大量的类，例如机器翻译中的大量词汇，计算归一化常数是很昂贵的。有许多种可以让计算更高效的替代选择，包括分层 Softmax（Hierarchical Softmax）或使用基于取样的损失函数，如 NCE。
non-saturating neurons 非饱和神经元;
implementation 仪器;
operation 操作;
overfitting 过拟合;
regularization 正则化;
dropout
主要内容：深度卷积神经网络取得的成果
1.Introduction
MNIST:是一个入门级的计算机视觉数据集，它包含各种手写数字图片,它也包含每一张图片对应的标签，告诉我们这个是数字几。
object recognition 目标识别;
datasets 数据集;
labeled 标记的;
augment 增加;
preserve 保留，保存;
digit 数字;
exhibit 展示，展览;
indeed 的确;
segment 分割;
category 种类;
specified 具体说明;
prior 先前的;
compensate 补偿;
constitute 构成;
standard feedforward 标准前馈;
prohibitively 禁止地;
scale 规模;
pair 使成对;
optimize 使优化；
facilitate 促成;
severe 严重的;
subset 子集;
inherernt 固有的;
detail 详述;
remove 去除;
inferior 较差的;
GPU:图形处理器（英语：graphics processing unit，缩写：GPU），又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。
GPU使显卡减少了对CPU的依赖，并进行部分原本CPU的工作，尤其是在3D图形处理时GPU所采用的核心技术有硬件T&L（几何转换和光照处理）、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图、双重纹理四像素256位渲染引擎等，而硬件T&L技术可以说是GPU的标志。GPU的生产商主要有NVIDIA和ATI。
图形处理器由以下器件组成:
(1)显示主芯片显卡的核心，俗称GPU，它的主要任务是对系统输入的视频信息进行构建和渲染。
(2)显示缓冲存储器用来存储将要显示的图形信息以及保存图形运算的中间数据;显示缓存的大小和速度直接影响着主芯片性能的发挥。
(3)*RAMD/A转换器把二进制的数字转换成为和显示器相适应的模拟信号。
主要内容：大致介绍了深度卷积神经的优劣
2.The Dataset
validation image 验证图像;
dimensionality 维度;
rectangular 矩形;
patch 补丁;
rescaled 重新缩放;
raw 原始；
主要内容：深度卷积神经的数据集的组成
3.The Architecture
3.1 ReLU Nonlinearity
summarize 总和;
novel 新颖的;
gradient 梯度;
descent 下降;
saturating nonlinearities 饱和非线性;
equivalents 等价物;
iteration 迭代;
normalization 规范化;
主要内容：DCNN与ReLU结合时的效率高于tanh
3.2 Training on Multiple GPUs
parallelization 平行化;
scheme 方案;
kernel 内核;
reside 存在;
cross-validation 交叉验证;
columnar 柱状;
主要内容:两个GPU的原理
3.3 Local Response Normalization(局部响应归一化)
desirable 可取的，理想的;
denote 表示;
主要内容：算法
3.4 Ocerlapping Pooling
adjacent 相邻的;
grid 网格;
spaced 间隔;
主要内容：普通池与重叠池;
3.5 Overall Architecture
主要内容：CNN的架构
4.Reducing Overfitting
constraint 约束;
主要内容：两种防过拟合的方法
4.1 Data Augmentation(数据扩张)
主要内容：数据扩张的两种方式：1 生成图像平移和水平反射2.改变训练图像中RGB通道的强度
4.2 Dropout
主要内容：Dropout的使用
5.Details of learning
stochastic 随机的;
batch 批量;
decay 衰退;
regularizer 正则项;
derivative 导数;
initialized 已初始化;
deviation 偏离;
neuron biases 神经元偏差;
heuristic 启发式的;
termination 结束;
主要内容：手动调整训练过程，降低3倍错误率
6.Results
sparse 稀疏;
classifiers 分类器;
densely 密集;
interchangeably 可交替地：
主要内容：训练CNN带来的成果更佳
6.1 Qyalitative Evaluations
modulo 模量;
orientation 方向;
colored blob 彩色斑点;
exhibit 显示;
Euclidean distance 欧氏距离;
panel 面板;
probe 探查;
vector 矢量;
activation 激活;
binary codes 二进制码;
compress 缩短;
retrieve 检索;
京公网安备 11010502036488号