第一章

一、简介
机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能的学科。

二、术语
数据集：对单个样本特征进行描述的记录集合。每条记录时关于一个事件或对象的描述，称为“示例”或“样本”，反映事件或对象在某方面的表现或性质的事项称为“属性”或“特征”。

…（发现这块儿也没啥好说的，这些概念用多了就能明白在说啥，实在不懂就看看书吧）

三、假设空间
归纳（induction）与演绎（deduction）是科学推理的两大基本手段。前者是从特殊到一般的 “ 泛化 ” generalization）过程，即从具体的事实归结出一般性规律；后者则是从一般到特殊的 “特化” （specialization）过程，即从基础原理推演出具体状况。

我们可以把学习过程看作一个在所有假设（hypothesis）组成的空间中进行搜索的过程，搜索目标是找到与训练集 “ 匹配” （fit）的假设，即能够将训练集中判断正确的假设。

四、归纳偏好
对于一个具体的算法，我们需要选择一个模型，这个时候我们选择的算法偏好就会起到关键的作用。任何一个有效的机器学习算法必有其归纳偏好，否则它将被假设空间中看似在训练集上 “等效” 的假设所迷惑，而无法产生确定的学习结果。

“奥卡姆剃刀” （Occam’s razor）是一种常用的、 自然科学研究中最基本的原则，即 “若有多个假设与观察一致，则选最简单的那个 ” 。有利于降低过拟合带来的模型在训练集上的效果优于测试集。

五、发展过程、应用现状及阅读材料
数据挖掘：发现数据之间的关系
计算机视觉：像人一样看懂世界
自然语言处理：像人一样看懂文字
机器人决策：像人一样具有决策能力
其他的看看课本，扩展阅读一下…
————————————————


第二章

一、经验误差与过拟合
我们把学习器的实际预测输出与样本的真实输出之间的差异称为 “误差” （error)，学习器在训练集上的误差称为“训练误差”（training error）或 “经验误差”，在新样本上的误差称为“泛化误差”。显然我们的目的时找一个泛化误差小的学习器，但因为我们事先不知道新样本是怎样的，所以只能努力使经验误差最小化。但是当经验误差足够小，甚至对所有的训练样本都分类正确，会产生过拟合。

多种因素可能导致过拟合，其中最常见的情况是由于学习能力过于强大，以至于把训练样本所包含的不太一般的特性都学到了，而欠拟合则通常是由于学习能力低下而造成的欠拟合比较容易克服，例如在决策树学习中扩展分支、 在神经网络学习中增加训练轮数等，而过拟合则很麻烦。

二、评估方法
留出法：将数据集分为训练集和测试集。
交叉验证法：例如分成1、2、3、4四部分，我们可以先以1、2、3为训练集，以4为测试集；然后以1、2、4为训练集，以3为测试集…
自助法：以自主采用法为基础，适用于数据集较小、难以有效划分训练/测试集时很有用；此外他也能从原始数据中产生多个不同的训练集，对集成学习很有帮助。
调参和模型选择也同样重要，大多数的学习算法的参数都需要设定，参数的细小差别可能会对产生的模型性能产生显著的变化。

三、性能度量
性能度量（performance measure）是衡量模型泛化能力的评价标准。模型的 “ 好坏 ” 是相对的，什么样的模型是好的，不仅取决于算法和数据，还决定于任务需求。

四、比较检验
比较啥呢？

测试集和训练集上的性能比较
不同大小的测试集
相同大小的测试集但是测试样例不同
算法本身具有随机性，相同的参数在同一个测试集上运行多次
相关的检验方法直接对照课本的例子看吧。

五、偏差与方差
期望输出与真实标记的差别称为偏差，偏差–方差分解说明，泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度所共同决定的。给定学习任务，为了取得好的泛化性能，则需使偏差较小，即能够充分拟合数据，并且使方差较小，即使得数据扰动产生的影响小。