<font color=red>**字体变为红色的代码**</font>
<font size=4>我是尺寸</font>

1.1 人工智能

• 智能=‘计算机控制’+‘智能行为’
• 图灵测试提出的目的：为了对‘智能’做一个相对准确的定义
• 图灵测试的定义：一个人在不接触对方的情况下，通过一种特殊的方式和对方进行一系列的问答.如果在相当长的时间内，这个人无法判断对方是计算机还是人。那么就可以说这个计算机是具有智能的.
• 人工智能大致可以分为三个阶段：推理期、知识期以及学习期。
  

1.2 机器学习

传统机器学习处理问题的一般流程？

• 传统机器学习主要是关注如何学习一个预测模型.
• 首先将数据表示成一组特征(Feature),特征的表示可以是连续的数值、离散的符号或者其他的形式.
• 然后将特征输入到预测模型当中，并获取相应的预测结果.
• 类似于以上流程的机器学习被称为传统机器学习.

传统机器学习的显著特征

• 浅层学习，不涉及到特征的学习.
• 特征都是通过人工经验手工提取或者特征转换法来提取的.

使用传统机器学习模型处理任务的一般流程

• 数据预处理(取出噪声等)
• 特征提取(从原始数据中提取一些有效的特征)
• 特征转换(主要包括对特征的升维和降维)
• 预测(学习出合适的f(x))

注意点

• 每一步的特征处理以及最后的预测部分都是分开处理的.
• 主要影响模型质量的是前面的特征处理板块.
• 传统的机器学习就变为了特征工程.

1.3 表示学习(Representation learning)

什么叫做‘表示’？

• 为了提高模型的准确率或者提高效果，应该从原始的数据信息中提取或者将其转换为更加有效的特征或者表示.
• 表示就是更加一般化的‘特征’.

什么是语义鸿沟(Semantic gap)？

• 语义鸿沟是指：输入数据的底层特征和高层的语义信息之间的不一致性以及差异性.
• 解决语义鸿沟是表示学习的关键所在.

用例子说明语义鸿沟

• 比如给定很多车的图片(这些车的颜色形状都不尽相同)
• 想要借助模型去分类，那么更想其依赖更高层次的语义特征去完成任务，而不是仅仅依靠低层次的特征.
• 因为相较于底层特征来说，这些高层特征的差异更加明显，更加有利于处理任务.

在表示学习中两个较为核心的问题是什么？

• 什么是一个好的表示？
• 如何学习到一个好的表示？

好的表示具有的优点(特征)

• 具有很强的表示能力：同样大小的向量往往可以表示更多的信息.
• 更加利于后续任务:需要包含更高层次的语义信息，可以使得任务处理更为方便.
• 泛化能力更强：可以很容易的迁移到其余领域或者其他任务数据上.

特征表示的两种方式

• 局部表示：一般可以表示为one-hot表示.
• 分布式表示

局部表示的优缺点

优点

• 简单，可解释性较强.
• 处理过程中都是稀疏的二值向量,运算效率较高.

缺点

• 扩展性较差.因为如果此时要新加一个东西，那么必须对one-hot编码的维度进行扩维.
• 不同事物的编码表示的相似度均为0.比如，要对红色和中国红两种颜色进行one-hot编码，显然无法从最后的编码结果看出两者是近似的.

分布式表示(或者分散式表示)

• 定义：将事物的语义分散到语义空间中的不同基向量上.
• 分布式表示的向量的维度一般都较低.

局部表示与分布式表示的对比

• 分布式表示的表达能力更强，维度一般来说较低.
• 分布式表示一般可以反映‘红色’和‘中国红’之间的相似度.

  嵌入

• 定义：通常是指将一个度量空间中的一些对象映射到另一个更加低维的度量空间中去.
  

1.4 深度学习

• 为了学习到一种好的表示,需要构建一种‘深度’的模型,并通过算法让模型自动学习到好的特征表示.
• 深度学习代替了手工设计特征规则然后提取特征的步骤,深度学习的特征学习是和最后训练得出结果是同步的,不像传统的机器学习,两个过程是不同步的.

端到端学习(end to end learning)

• 传统的机器学习模型通常将解决问题的步骤划分为多个模块,每个模块完成各自的任务,互相独立.
• 这些模块的学习都有不同的目标函数,学习起来非常困难.
• 端到端的训练只有最终的目标函数,方便统一的学习训练.

1.5 神经网络

人工神经网络(神经网络)

• 模仿人脑神经系统的数学模型.
• 构成：由很多个人工神经元构成的网络模型.
• 这些神经元之间的连接强度是可以学习的参数.

人工神经网络是由大量神经元通过极其丰富完善的连接而构成的自适应非线性动态系统.

• 首个可以学习的神经网络是：赫布神经网络.
• 最早具有机器学习思想的网络是：感知器.
• 反向传播算法有效解决了多层神经网络学习的问题.

1.6 本书的知识体系