相关度评价(correlation evaluation),理学-计算机科学技术-计算机应用-信息系统-信息检索-检索结果评鉴,检索出的文档与查询是否相关的评价。为了对信息检索系统的检索性能进行评价,在传统的Cranfield评价体系中,相关度评价是构建测试集合的重要组成部分,如今仍然被广泛应用在文本检索会议(TREC)等国际评测会议中。评价时,首先会选择一定数量的能够反映真实用户信息需求的查询,构建查询样例集合;之后,对于集合中的每一个查询,信息检索系统会返回相应的文档,专业的标注者需要判断这些检索出的文档与查询的相关度。相关度可以是两级的(即文档和查询相关,或文档和查询不相关),也可以是多级的(如四级的相关度评价:不相关、有点相关、相关、非常相关)。完成检索文档与查询的相关度评价后,通过计算反映信息检索系统性能的指标(如准确率、召回率等),就可以对信息检索系统的性能进行评价了。当需要构建大规模的测试集合时,相关度评价需要耗费大量的时间以及人力物力。