作者：admin 发布时间：2024-02-23 20:45 分类：资讯 浏览：32 评论：0
1、偏差-方差权衡就是通过正则化调整模型的复杂度。
2、简化模型参数：减少模型的参数数目，可以让模型更加简单，缓解过拟合问题。可以通过手动减少模型特征的方法，也可以通过自动化选择特征的方法来实现。
3、Dropout方法是一种随机失活技术。它通过在训练过程中随机关闭一些神经元来减少网络的复杂度，从而防止过拟合。这个方法适用于需要提高网络的泛化能力的情况。
L1正则化就是在 loss function 后面加上L1范数，这样比较容易求到稀疏解。
阈值化。将向量中的所有元素与一个阈值比较，所有小于阈值的元素都设置为零，从而使得向量变得更加稀疏。L1和L2正则化。正则化是一种非常常见的方法，可以通过增加正则项来惩罚大量的维度，从而导致一些分量为零的向量。
L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择 L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合 稀疏模型与特征选择 上面提到L1正则化有助于生成一个稀疏权值矩阵，进而可以用于特征选择。
大部分的正则化方法是在经验损失的基础上增加一个结构化损失，用来限制模型的学习能力，提升模型的泛化能力。L1正则化方法即在经验损失的基础上增加参数的一范数作为结构损失。
为了达到这一目的，最直观的方法就是限制 w 的个数，但是这类条件属于 NP-hard 问题，求解非常困难。因此机器学习中经常使用LL2正则化。L1正则化项也称为Lasso，L2正则化参数也称为Ridge。
L1正则化和L2正则化都是机器学习中的正则化方法，用于防止模型过拟合。它们的相似之处在于都可以控制模型的复杂度，使得模型更加稳定，同时也可以用于特征选择。
L1正则是拉普拉斯先验，L2是高斯先验。整个最优化问题可以看做是一个最大后验估计，其中正则化项对应后验估计中的先验信息，损失函数对应后验估计中的似然函数，两者的乘积即对应贝叶斯最大后验估计。
函数的单调性和凹凸性：通过求导，我们可以确定函数的单调区间和凹凸性。这对于解决不等式问题和优化问题非常有帮助。
L2正则假设参数的先验分布是Gaussian分布，可以保证模型的稳定性，也就是参数的值不会太大或太小 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。
