交叉熵

交叉熵（cross entropy），计算机科学技术名词，源自信息论，描述了两个近似概率分布的差异程度。在自然语言处理研究中，交叉熵常被用来评价和对比统计语言模型，用来衡量统计语言模型是否反映了语言数据的真实分布。