吴恩达机器学习栏目清单
专栏直达：https://blog.csdn.net/qq_35456045/category_9762715.html
15.7 多元高斯分布（选修）
参考视频: 15 - 7 - Multivariate Gaussian Distribution (Optional) (14 min).mkv
假使我们有两个相关的特征，而且这两个特征的值域范围比较宽，这种情况下，一般的高斯分布模型可能不能很好地识别异常数据。其原因在于，一般的高斯分布模型尝试的是去同时抓住两个特征的偏差，因此创造出一个比较大的判定边界。
下图中是两个相关特征，洋红色的线（根据ε的不同其范围可大可小）是一般的高斯分布模型获得的判定边界，很明显绿色的X所代表的数据点很可能是异常值，但是其p(x)值却仍然在正常范围内。多元高斯分布将创建像图中蓝色曲线所示的判定边界。
其中：
上图是5个不同的模型，从左往右依次分析：
- 是一个一般的高斯分布模型
- 通过协方差矩阵，令特征1拥有较小的偏差，同时保持特征2的偏差
- 通过协方差矩阵，令特征2拥有较大的偏差，同时保持特征1的偏差
- 通过协方差矩阵，在不改变两个特征的原有偏差的基础上，增加两者之间的正相关性
- 通过协方差矩阵，在不改变两个特征的原有偏差的基础上，增加两者之间的负相关性
多元高斯分布模型与原高斯分布模型的关系：
可以证明的是，原本的高斯分布模型是多元高斯分布模型的一个子集，即像上图中的第1、2、3，3个例子所示，如果协方差矩阵只在对角线的单位上有非零的值时，即为原本的高斯分布模型了。
原高斯分布模型和多元高斯分布模型的比较：
原高斯分布模型被广泛使用着，如果特征之间在某种程度上存在相互关联的情况，我们可以通过构造新新特征的方法来捕捉这些相关性。
如果训练集不是太大，并且没有太多的特征，我们可以使用多元高斯分布模型。
15.8 使用多元高斯分布进行异常检测（选修）
参考视频: 15 - 8 - Anomaly Detection using the Multivariate Gaussian Distribution (Optional) (14 min).mkv
在我们谈到的最后一个视频，关于多元高斯分布，看到的一些建立的各种分布模型，当你改变参数，μ 和 Σ。在这段视频中，让我们用这些想法，并应用它们制定一个不同的异常检测算法。
要回顾一下多元高斯分布和多元正态分布：
分布有两个参数， μ 和 Σ。其中μ这一个n维向量和 Σ 的协方差矩阵，是一种n×n的矩阵。而这里的公式x的概率，如按 μ 和参数化 Σ，和你的变量 μ 和 Σ，你可以得到一个范围的不同分布一样，你知道的，这些都是三个样本，那些我们在以前的视频看过了。
因此，让我们谈谈参数拟合或参数估计问题：
这其实只是当我们使用PCA算法时候，有 Σ 时写出来。所以你只需插入上述两个公式，这会给你你估计的参数 μ 和你估计的参数 Σ。所以，这里给出的数据集是你如何估计 μ 和 Σ。让我们以这种方法而只需将其插入到异常检测算法。那么，我们如何把所有这一切共同开发一个异常检测算法？
首先，我们把我们的训练集，和我们的拟合模型，我们计算p(x)，要知道，设定μ和描述的一样Σ。
如图，该分布在中央最多，越到外面的圈的范围越小。
并在该点是出路这里的概率非常低。
原始模型与多元高斯模型的关系如图：
其中：协方差矩阵Σ为：
原始模型和多元高斯分布比较如图：
京公网安备 11010502036488号