模型选择

模型选择（model selection），理学-计算机科学技术-人工智能-机器学习-归纳学习-模型选择，在机器学习中，模型选择是从一个学习任务的多个候选模型中选出泛化性能尽可能好的那个模型，即所选得的模型具有较好的泛化效果，而并非直接选择训练误差最小的模型。有时即使对同一个学习算法，使用不同的参数配置也会产生不同的模型。因此，在机器学习中模型选择包括了选择所用的学习算法以及参数配置。在选择模型时，通常希望所选的模型的泛化性能较好，即模型在预测未见样例的误差要小。通常做法是在训练集上完成模型训练后，评估模型的泛化性能，并基于评估的结果选择模型及参数。常用的评估模型泛化性能的方法主要有如下几种: 留出法(hold-out)、交叉验证法(cross validation)和自助法(bootstrap)。常用的模型泛化性能的评价指标主要是如下几种: 错误率、精度、查准率(precision)，查全率(recall)与、ROC与AUC 等。在得到多种评估模型的性能指标后，需要对其进行比较以确定模型的性能。此时，可以借助统计假设检验(hypothesis test)来进行。