正则化 – 它能解决什么问题?
简介
数据模型将数据项之间的关系以及与模型原始目的所需的特征进行分组和标准化。用于机器学习模型训练和评估的数据有可能构建一个或一组解决方案。使用正则化技术可以避免定义不明确的模型，这些模型的架构对最终数据的变化特别敏感。数据或数据输入过程中的错误或问题可能会导致解决方案更加不准确。通过改变流程以考虑错误和未来的约束，可以生成高度准确且有用的模型。
正则化
它是指通过向模型提供附加信息来防止模型过度拟合的一种方法。
过度拟合
您的机器学习模型有时可能会在训练数据上得分很高，但在测试数据上得分很差。在处理新数据集时，输出中会引入噪声，这意味着模型无法预测结果，因此被称为过度拟合。
偏差
这是模型为了让函数更容易理解而做出的假设。基本上，它指的是训练数据的错误率。当错误率很大时，我们称之为高偏差，如果错误率很小，我们称之为低偏差。
方差
方差是训练和测试数据集的错误率之间的区别。当误差之间的差距较小时，方差被称为低，而当误差之间的差距较大时，方差被称为高。通常，我们希望以较低的方差概括我们的模型。
算法
Leso 回归
Ridge 回归
Drop out 回归
数据增强回归
早期停止回归
Leso 回归
可以将权重值降低到零。这会通过加快激活函数对数据进行操作的速度来影响输出。L1 正则化是一种有用的模型压缩方法。在压缩模型时，了解权重的总量将始终保持正值甚至可能为零是有益的。正则化参数 lambda 是根据哪个值提供最佳结果来决定的。使用 L1 正则化，创建一个稀疏模型。由于标准无法区分，可能需要一种算法来对基于梯度的学习模型进行更改。
Ridge 回归
L2 正则化被称为"权重衰减"。使用这种方法，可以通过减小权重的大小来避免过度拟合。这种方法基于这样的假设:随着权重因子的增加，错误的可能性也会增加。降低权重值的目的是减少错误的可能性。与 L1 正则化相比，权重值不能为 0。权重乘以正则化参数 (lambda) 的平方根。随着 lambda 值的增加，其权重将减小。为了检查结果并选择 lambda 的理想值，使用交叉验证方法来正确估计未知数据的结果。
Dropout 回归
Dropout 正则化排除了各种神经网络节点以及完全任意的输入和输出链接。每个节点都给出了输入、输出、传递函数和加权输入的链接。每个节点都会对神经网络的输出产生影响。每个网络中都可能存在多个节点。退出后，节点将完全从网络中排除。被解散的节点会在每个周期发生变化，从而改变结果。由于其可靠性和积极成果，Dropout 经常在工作场所使用。它对于同时训练具有不同拓扑的多个神经网络非常有效。Dropout 带来了诸如嘈杂的训练环境之类的挑战。鉴于 Dropout 会重复稀疏激活，网络必须学习稀疏表示。在训练期间，通过随机子采样对层输出进行采样，这会降低网络的容量。
数据增强回归
数据增强通过翻转、镜像、旋转等从现有训练集中生成新的训练集，正则化会不自然地增加原始训练数据集的大小。如果数据集不够大甚至无法产生准确的结果，可以使用数据增强来提高模型的准确性。为了解释各种情况，模型的数据集可能会增加。
早期停止正则化
早期停止正则化在验证错误处于最低水平时结束训练。梯度下降用于规范模型。验证错误检查模型输出，以查看它们是否准确描述数据并量化变量之间的关系。当验证错误停止减少并开始增加时，它是过度拟合的标志。将数据分成测试集，并评估每组网络性能。完成后只保留性能最佳的模型。
结论
正则化是一种通过向模型提供附加信息来防止模型过度拟合的方法。L1 正则化是一种有用的模型压缩方法。在压缩模型时，了解权重的总量将始终保持正值甚至可能为零是有益的。 Dropout 正则化完全任意地排除了各种神经网络节点以及输入和输出链接。通过减小权重的大小可以避免过度拟合。即使原始训练数据集的大小不足以产生准确的结果，也可以使用数据增强来增加原始训练数据集的大小。
