6.1逻辑斯谛回归模型

定义：
设X是连续随机变量，X服从逻辑斯蒂回归分布是指X具有下列分布函数和密度函数：

式中，式中，为位置参数，为形状参数。
密度函数
图片说明

分布函数
图片说明

二项逻辑斯蒂回归模型

定义：

二项逻辑斯蒂回归模型是如下的条件概率分布：


设：

似然函数为：

对数似然函数为：


对L(w)求极大值，得到w的估计值。这样，问题就变成了以对数似然函数为目标函数的最优化问题。逻辑斯蒂回归学习中通常采用的方法是梯度下降法及拟牛顿法。

6.2最大熵原理

最大熵原理认为，学习概率模型时，在所有可能的概率模型中，熵最大的的模型为最好的模型。通常用约束条件来确定概率模型的集合。