正则化是通过对学习算法的修改，如在原约束函数上添加额外的约束和惩罚，改善模型在测试集上的表现，达到减少泛化误差、提高模型泛化能力的目的的技术。在实际的深度学习场景，最好的拟合模型（从最小化泛化误差的意义上）通常是一个适当正则化的大型模型。正则化是通过对学习算法的修改以减少泛化误差而不是训练误差的策略。有些策略向机器学习模型添加限制参数的额外约束。有些策略向目标函数增加参数值软约束的额外项。如果仔细选择，这些额外的约束和惩罚可以改善模型在测试集上的表现。有时侯，这些约束和惩罚被设计为编码特定类型的先验知识；其他时候，这些约束和惩罚被设计为偏好简单模型，以便提高泛化能力。有时，惩罚和约束对于确定欠定的问题是必要的。其他形式的正则化（如集成方法）结合多个假说来解释训练数据。 [1]机器学习中的一个核心问题是设计不仅在训练数据上表现好，并且能在新输入上泛化好的算法。在机器学习中，许多策略显式地被设计为减少测试误差（可能会以增大训练误差为代价）。这些策略被统称为正则化。