作者：admin 发布时间：2023-12-14 15:30 分类：资讯 浏览：33 评论：0
1、图像复原从数学角度考虑，它等价于第一类fredholm积分方程，是一种反问题，具有很大的病态性，因此，必须进行正则化处理。从统计的角度看，正则化处理其实就是一种图像的先验信息约束 。
2、正则化是一种回归的形式，它将系数估计（coefficient estimate）朝零的方向进行约束、调整或缩小。也就是说，正则化可以在学习过程中降低模型复杂度和不稳定程度，从而避免过拟合的危险。
3、看到没，这两个等价公式说明了，正则化的本质就是，给优化参数一定约束，所以，正则化与加限制约束，只是变换了一个样子而已。
4、L1正则化就是在 loss function 后面加上L1范数，这样比较容易求到稀疏解。
1、古典概率模型要求满足两个条件：（1）试验的所有可能结果是有限的；（2）每一种可能结果出现的可能性（概率）相等。 如抛一枚硬币，在抛之前，主观推断P（正面朝上）=0.5。
2、概率 用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。在这种意义上，似然函数可以理解为 条件概率 的逆反。
3、似然函数就是得到这个样本的概率，由于每次抽样独立，所以把这几个概率乘起来就是得到这个样本的概率了，也就是似然函数。
4、统计学中，似然函数是一种关于统计模型参数的函数。给定输出x时，关于参数θ的似然函数L（θ|x）（在数值上）等于给定参数θ后变量X的概率：L（θ|x）=P（X=x|θ）。
5、对于离散型随机变量，似然函数是指参数θ在给定观测数据x的条件下出现的概率。
6、只要有统计模型，就会有似然函数，（似然函数是建立在统计模型上的）给定输出X（x1，x..）时，关于参数θ的似然函数L（θ|x）（在数值上）等于给定参数θ后变量X的概率：L（θ|x）=P（X=x|θ）。
通常的正则化方法有基于变分原理的Tikhonov 正则化、各种迭代方法以及其它的一些改进方法，在各类反问题的研究中被广泛采用，并得到深入研究。
正则化的常见方法 提前终止法（earlystopping）提前终止法适用于模型表达能力很强的时候。
L1范数：权值向量w中各个元素的绝对值之和，L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择。 L2范数：权值向量w中各个元素的平方和然后再求平方根，L2正则化可以防止模型过拟合；一定程度上，L1也可以防止过拟合。