最大熵模型

最大熵模型（Maximum Entropy），给定一个概率分布，则熵的定义为：Hp=−p（x）logp(x)“熵”最初是热力学中的一个概念，上世纪40年代，香农首先在信息论中引入了信息熵的概念。信息熵用来表示不确定度的度量，不确定度越大，熵值越大。