信息增益率（信息增益）

大家好,小范来为大家解答以上的问题。信息增益率，信息增益这个很多人还不知道,现在让我们一起来看看吧！

1、在概率论和信息论中，信息增益是非对称的，用以度量两种概率分布P和Q的差异。

2、信息增益描述了当使用Q进行编码时，再使用P进行编码的差异。

3、通常P代表样本或观察值的分布，也有可能是精确计算的理论分布。

4、Q代表一种理论，模型，描述或者对P的近似。

5、尽管信息增益通常被直观地作为是一种度量或距离，但事实上信息增益并不是。

6、就比如信息增益不是对称的，从P到Q的信息增益通常不等于从Q到P的信息增益。

7、信息增益是f增益(f-divergences)的一种特殊情况。

8、在1951年由Solomon Kullback 和Richard Leibler首先提出作为两个分布的直接增益(directed divergence)。

9、它与微积分中的增益不同，但可以从Bregman增益(Bregman divergence)推导得到。

本文到此分享完毕，希望对大家有所帮助。