信息量

信息量表示事件的不确定性。一件事情发生的概率越大那么那么它的发生所带来的信息量越小，反之，一件事情发生的概率越小那么那么它的发生所带来的信息量越大。由于存在这种关系，我们可以表示一件事情发生所带来的信息量为-logP。

熵

熵是所有信息量的期望。

H ( X ) = − <mstyle displaystyle="true" scriptlevel="0"> <munderover> ∑ i = 1 n </munderover> p ( x i ) l o g p ( x i ) </mstyle>

条件熵
我们把H(X,Y) - H(X)即X，Y事件的熵减去X的熵，即在已知X的情况下所具有的熵即H(Y|X)条件熵。
由以上公式及 概率相关公式推导可得。

H ( Y | X ) = H ( X , Y ) − H ( X ) = − <mstyle displaystyle="true" scriptlevel="0"> <munderover> ∑ i = 1 n </munderover> p ( X , Y ) l o g p ( Y | X ) </mstyle>

信息增益
信息增益我们可以理解为互信息。

g ( D | A ) = H ( D ) − H ( D | A )

增益率

基尼指数