KL散度定义

KL(Kullback-Leibler divergence)散度多应用于概率论或信息论中，又可称相对熵(relative entropy)。它是用来描述两个概率分布P和Q的差异的一种方法。
【记】KL具有非对称性，即D(P||Q) ≠ D(Q||P)。
在信息论中，D(P||Q) 表示用概率分布Q来拟合真实分布P时，产生的信息损耗，其中P表示真实分布，Q表示P的拟合分布

KL散度公式

对于离散型随机变量有：
图片说明
对于连续型随机变量有：
图片说明

KL散度的物理定义

在信息论中，它是用来度量使用基于Q分布的编码来编码来自P分布的样本平均所需的额外的比特(bit)个数。
在机器学习领域，是用来度量两个函数的相似程度或者相近程度。