回归学习（Regression Learning），理学-计算机科学技术-人工智能-机器学习-归纳学习-监督学习，当输出变量为连续变量时的学习方式。回归学习是监督学习中的一个重要问题，它等价于函数拟合，其目的在于找出一个最能够表示输入变量与输出变量关系的函数，即选择一个函数使其尽可能好地拟合已知数据并预测未知数据。给定训练集，其中是输入变量，是输出变量。构建一个回归模型，即函数，对于一个新的输入，回归模型根据训练得到的模型预测相应的输出。回归问题按照输入变量和输出变量之间关系的类型，可分为线性回归和非线性回归。均方误差是回归任务中最为常用的性能度量之一，它有非常好的几何意义，对应了常用的欧氏距离，基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。