作者：admin 发布时间：2024-04-13 18:00 分类：资讯 浏览：24 评论：0
自适应初始化方法，如Xavier和Kaiming初始化，针对神经元间的连接关系，提供了更精细的权值初始化策略。
正则化其实就是归一化；归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。
根据现在的钢结构规范，长细比计算有两个目的。第一，看看有没有超过容许长细比的限值，这个目的是不用考虑钢材的牌号（或是屈服强度）。第二，当然是计算受压构件的稳定性。
并将连续样在5m长的支撑上进行正则化。正则化后金品位的统计结果如下，最小值为0.0g/t，最大值为437g/t，均值为0.135g/t，标准差为0.9621，品位的变化系数高达11。其分布直方图为高偏分布。
关于l1正则和l2正则，下面说法正确的是L2正则化标识各个参数的平方的和的开方值。L1范数会使权值稀疏。
根据现在的钢结构规范，长细比计算有两个目的，第一，看看有没有超过容许长细比的限值，这个目的是不用考虑钢材的牌号（或是屈服强度），第二，当然是计算受压构件的稳定性。
1、过拟合含义：所谓过拟合（Overfitting）：指一个假设在训练数据上能够获得比其他假设更好的拟合（训练误差小）但是在训练数据外的数据集上却不能很好的拟合数据（测试误差大）。此时模型的泛化能力较差，不利于推广。
2、除了正则化，还可以从以下几个方面降低过拟合风险。和过拟合相反的一个概念是欠拟合（Underfitting），即模型不能很好地拟合 训练数据，在训练集的错误率比较高。欠拟合一般是由于模型能力不足造成的。
3、过拟合是指模型复杂度较大，过度拟合训练集只导致模型训练误差小、泛化误差大的现象。从偏差与方差的角度上看，过拟合指模型在训练集中的输出偏差小、方差大。
4、当训练误差远小于验证集误差时，并且训练误差很小时，该模型高方差（过拟合）。 判断出该模型是过拟合或者欠拟合之后，然后使用上述提到的过拟合和欠拟合的解决方法，对算法进行改进。
5、“过拟合”是指学习器对训练样本学的太好了，导致泛化程度不够（还记得机器学习就是一个泛化过程吗），没法适应新的数据样本。与之相反的还有一个“欠拟合”的概念，就是对训练样本中的一般规律都没学习好。
6、偏差-方差权衡就是通过正则化调整模型的复杂度。
使用正则化方法：正则化方法可以通过惩罚系数来抑制模型过拟合，从而减少多重共线性的影响。例如，L1正则化可以用于特征选择，L2正则化可以用于缩小参数的范围。
至于特征选择，选择完参数空间之后特征的选择也顺便完成了。介绍 从模型求解上看，正则化提供了一种唯一解的可能。光用最小二乘拟合可能出现无数组解，加个L1或L2正则化项能有唯一解。
我们都知道在模型损失中加入L1正则化可以获得参数的稀疏解，接下来，我们从几何和数学两个角度进行以下解释，不过重点还是在数学推导上。
正则化的通俗解释就是给平面不可约代数曲线以某种形式的全纯参数表示。
1、平均值Zv（x）即为区域化变量Z（y）在承载u（x）内的正则化变量，其中u（x）称正则化承载。而Zv（x）的运算过程叫做把Z（y）在u（x）上的正则化。所以正则化就是用承载u（x）内的平均值代替原始（点）数据。
2、特征选择，减少特征数或使用较少的特征组合，对于按区间离散化的特征，增大划分的区间； 正则化，常用的有 LL2 正则。
3、正则化的做法，实际上是在不可约平面代数曲线的奇点处，把具有不同切线的曲线分支分开，从而消除这种奇异性。 正则化就是对最小化经验误差函数上加约束，这样的约束可以解释为先验知识（正则化参数等价于对参数引入先验分布）。
4、正则化的目的：防止过拟合！ 正则化的本质：约束（限制）要优化的参数。
