Machine Learning 4th

输入空间

输入‘X’可能取值的集合就是输入空间(input space)。输入空间可以是有限集合空间，也可以是整个欧式空间

输出空间

输出'Y'可能取值的集合就是输出空间(output space)。输出空间可以是有限集合空间，也可以是整个欧式空间

特征空间

对于上面讨论的输入控件，每个具体的输入就是一个实例(instance)，这个实例就是由特征向量(feature vector)表示，其中x就是输入空间X中的一个输入实例，由n维特征向量组成 $x=(x^{(1)},x^{(2)},…,x^{(n)})^T$
一般的，用大写的X/Y代表输入输出空间，小写的x/y代表一个具体的输入输出实例（标量或者向量）；

向量默认为列向量，所以上式中对于x的输入向量用行向量转置的方式来表示列向量 $x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)})^T$
两个式子不同之处在于 $x$ 和 $x_i$ ，其中 $x_i$ 代表多个输入变量x中的第i个

另外 $x^{(i)}$ 与 $x_i$ 的区别在于： $x^{(i)}$ 代表输入x的第i个特征