分布间距离（distance between distributions），工学-信息与通信工程-模式识别-统计模式识别-分布间距离，描述两个概率分布的相似性，或两个随机变量之间的相关性的度量。度量分布间距离的方法和准则有很多种，如f-散度（f-divergence）、沃瑟斯坦度量（Wasserstein metric）和最大平均差（maximum mean discrepancy）等，但在模式识别等领域影响最为广泛的是一种以信息论为基础的度量方法：KL散度（Kullback-Leibler divergence）。其数学定义如下：对于离散分布：…（1）对于连续分布：…（2）式中和为两个概率密度函数。因为不满足对称性，所以严格地说，KL散度并不是一种距离度量；但在实际使用中KL散度不仅能够很好地反映分布之间的相似性，并且具有很好的计算性质，因此应用十分广泛。