作者：admin 发布时间：2024-01-29 21:15 分类：资讯 浏览：75 评论：0
正则化的意思：修改学习算法，使其降低泛化误差而非训练误差。正则化，英文为regularizaiton，定义是修改学习算法，使其降低泛化误差（generalization error）而非训练误差。
正则化：通过增加正则项限制模型的复杂度，进而使模型更加平滑，缓解过拟合现象。比较流行的正则化方法有L1和L2正则化。 交叉验证：通过交叉验证等方法，可以评估模型的泛化能力，进而选择出适合的模型。
正规化因子是指在机器学习模型训练过程中，为了防止过拟合而引入的一种技术手段。在模型训练过程中，我们往往会出现过拟合的情况，因为模型可以很容易地记住训练数据集，但是却没有很好地泛化到未见过的数据上。
对于用于回归的线性模型，输出y^是特征的线性函数，是直线、平面或超平面（对于更高维的数据集）。对于用于分类的线性模型， 决策边界 是输入的线性函数。换句话说，（二元）线性分类器是利用直线、平面或超平面来分开两个类别的分类器。
线性模型（Linear Model）是机器学习中应用最广泛的模型，指通过样本特征的线性组合来进行预测的模型。给定一个 维样本 ，其线性组合函数为：其中 为 维的权重向量， 为偏置。
它实际上是在试图让e**（wx + b）逼近y，这里的对数函数起到了将线性回归模型预测的预测值与真实值标记联系起来的作用。
可以看出线性模型虽然形式简单、易于建模，但这是机器学习的重要基础，很多其他功能更为强大的非线性模型（nonlinear model）课在线性模型的基础上 通过引入层级结构或者高维映射而得到 。
洁洪诺夫正则化，是引入正则算子将不适定问题转化为适定问题。判断适定性有三个条件。
截断奇异值分解方法主要用来消除复原问题中的病态性，其并没引入任何原始图像的先验信息，而Tikhonov正则化方法则是将原始图像是“平滑的”这一先验信。
正则化理论是Tikhonov于1963年提出的一种用以解决逆问题的不适定性的方法。
1、原因二：从贝叶斯的角度来分析， 正则化是为模型参数估计增加一个先验知识，先验知识会引导损失函数最小值过程朝着约束方向迭代。 L1正则是拉普拉斯先验，L2是高斯先验。
2、这种收缩也称之为正则化，它旨在减少方差以防止模型的过拟合。由于我们使用不同的收缩方法，有一些变量的估计将归零。因此这种方法也能执行变量的选择，将变量收缩为零最常见的技术就是 Ridge 回归和 Lasso 回归。
3、正则化主要是通过对网络权重做正则来限制过拟合，但是根据正则项在损失函数中的形式：可以看出，如果发生梯度爆炸，那么权值的范数就会变的非常大，反过来，通过限制正则化项的大小，也可以在一定程度上限制梯度爆炸的发生。
1、由于造成过拟合的原因可能是太多的特征量，所以可采用减少特征量的方法。但是不妨换种思路，减少特征量的权值（这个特征乘以的 \theta 很小），来达到目的。
2、贝叶斯方法将其参数以概率分布的形式表示以提供不确定性估计；同时，通过使用先验概率分布的形式来表示参数，训练期间在许多模型上计算平均值，这给网络提供了正则化效果，从而防止过度拟合。 在标准神经网络中，权重由单个点表示。
3、L1范数可以使权值稀疏，方便特征提取。L2范数可以防止过拟合，提升模型的泛化能力。
4、支持向量机（SVM）——svm原理并不难理解，其可以归结为一句话，就是最大化离超平面最近点（支持向量）到该平面的距离。
5、限制权值 Weight-decay，也叫正则化（regularization）原理同上，但是这类方法直接将权值的大小加入到 Cost 里，在训练的时候限制权值变大。
6、可以一方面增加数据的样本集，另一方面采用交叉验证选择合适的隐层节点数，在精度与泛化能力之间做一个权衡，最常用的方法就是增加正则化项，一定程度上可以防止模型的过拟合问题。