说明：本文章来自本来对斯坦福大学机器学习视频教程的学习总结，如有侵权，请联系本人，立刻删除。
单变量线性回归：
这个例子是预测住房价格的，我们要使用一个数据集，数据集包含俄勒冈州波特兰市的住房价格。在这里，我要根据不同房屋尺寸所售出的价格，画出我的数据集。比方说，如果你朋友的房子是 1250 平方尺大小，你要告诉他们这房子能卖多少钱。那么，你可以做的一件事就是构建一个模型，也许是条直线，从这个数据模型上来看，也许你可以告诉你的朋友，他能以大约 220000(美元)左右的价格卖掉这个房子。这就是监督学习算法的一个例子。
它被称作监督学习是因为对于每个数据来说，我们给出了“正确的答案”，即告诉我们：根据我们的数据来说，房子实际的价格是多少，而且，更具体来说，这是一个回归问题。回归一词指的是，我们根据之前的数据预测出一个准确的输出值，对于这个例子就是价格。
整个视频中，m代表训练样本数目。
以之前的房屋交易问题为例，假使我们回归问题的训练集（Training Set）如下表所示：
我们将要用来描述这个回归问题的标记如下:
m 代表训练集中实例的数量
x 代表特征/输入变量
y 代表目标变量/输出变量
(x,y) 代表训练集中的实例
(x(i),y(i) ) 代表第 i 个观察实例
h 代表学习算法的解决方案或函数也称为假设
x 到 y 的函数映射。 我将选择最初的使用规则 h 代表 hypothesis，因而，要解决房价预测问题，我们实际上
是要将训练集“喂”给我们的学习算法，进而学习得到一个假设 h，然后将我们要预测的房屋
的尺寸作为输入变量输入给 h，预测出该房屋的交易价格作为输出变量输出为结果。那么，
对于我们的房价预测问题，我们该如何表达 h？
一种可能的表达方式为：
样的问题叫作单变量线性回归问题。
代价函数：
在线性回归中我们有一个像这样的训练集，m 代表了训练样本的数量，比如 m = 47。
接下来我们会引入一些术语我们现在要做的便是为我们的模型选择合适的参数（parameters）θ0 和 θ1，在房价问题这个例子中便是直线的斜率和在 y 轴上的截距。
我们选择的参数决定了我们得到的直线相对于我们的训练集的准确程度，模型所预测的值与训练集中实际值之间的差距（下图中蓝线所指）就是建模误差（modeling error）。
我们的目标便是选择出可以使得建模误差的平方和能够最小的模型参数。 即使得代价函数
我们绘制一个等高线图，三个坐标分别为 θ0 和 θ1 和 J(θ0,θ1)：
我们可以占到函数J（）最小的点。
梯度下降：
梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法求出代价函数的最小值。梯度下降背后的思想是：开始时我们随机选择一个参数的组合（θ0,θ1,...,θn），计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到到到一个局部最小值（local minimum），因为我们并没有尝试完所有的参数组合，所以不能确定我们得到的局部最小值是否便是全局最小值（global minimum），选择不同的初始参数组合，可能会找到不同的局部最小值。
其中 α 是学习率（learning rate），它决定了我们沿着能让代价函数下降程度最大的方向向下迈出的步子有多大，在批量梯度下降中，我们每一次都同时让所有的参数减去学习速率乘以代价函数的导数。
在梯度下降算法中，还有一个更微妙的问题，梯度下降中，我们要更新 θ0 和 θ1 ，当 j=0 和 j=1 时，会产生更新，所以你将更新 Jθ0 和 Jθ1。实现梯度下降算法的微妙之处是，在这个表达式中，如果你要更新这个等式，你需要同时更新 θ0 和 θ1，我的意思是在这个等式中，我们要这样更新：
θ0:= θ0 ，并更新 θ1:= θ1。
实现方法是：你应该计算公式右边的部分，通过那一部分计算出 θ0 和 θ1 的值，然后同
时更新 θ0 和 θ1。
让我进一步阐述这个过程：
梯度下降的线性回归：
梯度下降算法和线性回归算法比较如图：
关键问题在于求出代价函数的倒数：
则算法改写成：
京公网安备 11010502036488号