1.3 假设空间
科学推理两大基本手段
归纳（induction）
从特殊到一般的“泛化”（generalization）过程，即从具体的事实归结出一般性规律，“从样例中学习”是一个归纳的过程，称为归纳学习（inductive learning）。
演绎（deduction）
从一般到特殊的“特化”（specialization）过程，即从基础原理推演出具体状况。例如，基于一组公理和推理规则推导出预支相洽的定理，这是演绎。
归纳学习

  • 广义：从样例中学习
  • 狭义：从训练数据中学得概念（concept），亦称“概念学习”或“概念形成”。
    概念学习中最基本的是布尔概念学习，即对“是” “不是”这样的可表示为0/1布尔值的目标概念的学习。
    学习过程是基于有限的样本训练集进行的，因此，可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”，我们称之为“版本空间”（version space）。

1.4 归纳偏好
机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”（inductive bias）。
奥卡姆剃刀（Occam's razor）原则
“若有多个假设与观察一致，则选择最简单的那个”。
自然科学研究中最常用的最基本的用来引导算法确立“正确的”偏好的原则
如何确定哪一个假设更“简单”的问题？
归纳偏好对应了学习算法本身所做出的关于“什么样的模型更好”的假设。
算法的归纳偏好是否与问题本身匹配，大多数时候直接决定了算法能否取得好的性能。
“没有免费的午餐”定理（No Free Lunch Theorem，简称NFL定理）
无论学习算法a多聪明、学习算法b多笨拙，它们的期望性能相同。前提是：所有“问题”出现的机会相同、或所有问题同等重要。
寓意：脱离具体问题，空泛谈论“什么学习算法更好”毫无意义，因为若考虑所有潜在的问题，则所有算法都一样好。

1.5 发展历程
机器学习是人工智能（aritificial intelligence）研究发展到一定阶段的必然产物。
1965年，Feigenbaum主持研制了世界上第一个专家系统DENDRAL。
二十世纪八十年代是机器学习成为一个独立的学科领域、各种机器学习技术百花初绽的时期。

1.6 应用现状
机器学习在大数据时代是必不可少的核心技术。收集、存储、传输、管理大数据的目的，是为了“利用”大数据，而如果没有机器学习技术分析数据，“利用”则无从谈起。
机器学习通过建立一些基于学习的计算模型来促进我们理解“人类如何学习”。