文本挖掘评测

文本挖掘评测（text mining evaluation），理学-计算机科学技术-人工智能-自然语言处理-文本挖掘-文本挖掘评测，通过语言学、统计学和机器学习等手段，从非结构化的文本数据中获取用户感兴趣的结构化信息，并通过系统化、大规模地定量评测的过程。一些国际评测会议对文本挖掘技术的发展起到了很大的推动作用。作为最早文本挖掘方面的评测会议，信息理解研讨会（MUC，1987～1998）从MUC-3开始，借用了信息检索领域采用的召回率和准确率等指标来对信息抽取进行正式的评测。MUC-7之后，MUC被自动内容抽取（ACE，1999～2008）所取代。ACE的评测采用系统输出与参考答案之间的全局最优匹配原则，当系统输出的结果与参考答案不匹配时(如发生错误警告、实体遗漏和类型错误等情况),评测系统将根据具体情况倒扣一定分数作为惩罚。作为自动文摘方向的最有影响力的国际评测，文本理解会议（DUC，2001～2007）自2001年开始，每年一次，直到2008年开始成为文本分析会议（TAC，始于2008）评测中的一个子任务，主要使用ROUGE、BE和Pyramid进行文本自动摘要结果的评价。