Part1: 损失函数推导

逻辑回归的公式为：

假设有N个样本，样本的标签只有0和1两类，可以用极大似然估计法估计模型参数，从而得到逻辑回归模型

设yi=1的概率为pi，yi=0的概率为1 - pi，那么观测的概率为：

概率由逻辑回归的公式求解，那么带进去得到极大似然函数：

取对数得到对数似然函数：

$L(w)=\Sigma^N_{i=1}[y_ilogh(x_i)+(1-y_i)log(1-h(x_i))]$ ，对 $L(w)$ 求极大值，得到 $w$ 估计值。

将逻辑回归转化成以对数似然函数为目标函数的最优化问题。逻辑回归模型损失函数一般形式：

$J(\theta)=\frac{1}{N}\Sigma^N_{i=1}[y^{(i)}logh_\theta(x^{(i)})+(1-y^{(i)})log(1-h_\theta(x^{(i)})]$

Part2: 损失函数求导

首先简化求导函数：

$J(\theta)=\frac{1}{N}[\Sigma^N_{i=1}K(\theta)']$ ， $K(\theta)=y^{(i)}logh_\theta(x^{(i)})+(1-y^{(i)})log(1-h_\theta(x^{(i)})$

$K(\theta)'=y\frac{1}{h_\theta(x)}h_\theta(x)'+(1-y)\frac{1}{1-h_\theta(x)}(-h_\theta(x))'$

对 $h_\theta(x)$ 继续求导得：
图片说明

带入化简后得

$K(\theta)=(y-h_\theta(x))(\theta^Tx)'$

$J(\theta)'=\frac{1}{N}[\Sigma^N_{i=1}(h_\theta(x)-y)(\theta^Tx)']$

最后，求 $(\theta^Tx)'$ ，对第j个 $\theta$ 求偏导，结果即 $X_j$ ( $j$ 为样本中的第几项）得最终结果：

图片说明