信息准则(Information Criterion),理学-计算机科学技术-人工智能-机器学习-归纳学习-模型选择,信息准则是指一类用于度量模型在指定数据上性能的统计量,常用于模型选择,它通常将模型在数据上的预测结果、模型复杂度、以及数据大小合并一起考虑。常用的信息准则有两种。一种是赤池信息准则(Akaike Information Criterion,简称AIC),计算公式为:其中,是模型的极大似然函数,,是训练数据,是自由参数的个数。另一种是贝叶斯信息准则(Bayesian Information Criterion,简称BIC),计算公式为:其中,是模型的极大似然函数,,是训练数据,是中的样本数目,是自由参数的个数。在上述两种信息准则的计算式中,第一项用于衡量模型的复杂度,第二项用于衡量模型拟合数据的能力。AIC或BIC的值较低意味着模型能够较好地拟合数据集,并且复杂度也不太高。两者的区别在于BIC在理论上具有“渐进一致性”(asymptotically consistent) ,即在样本数目趋于无穷时,BIC能以概率找到最优的模型。