企业网站的建设,泰安注册公司,常州做网站公司排名,跨境电商平台有哪些知乎文章目录参考博客正则化介绍正则化的实现参考博客
深入理解L1、L2正则化 PyTorch 实现L2正则化以及Dropout的操作
正则化介绍
正则化#xff08;Regularization#xff09;是机器学习中一种常用的技术#xff0c;其主要目的是控制模型复杂度#xff0c;减小过拟合。最基…
文章目录参考博客正则化介绍正则化的实现参考博客
深入理解L1、L2正则化 PyTorch 实现L2正则化以及Dropout的操作
正则化介绍
正则化Regularization是机器学习中一种常用的技术其主要目的是控制模型复杂度减小过拟合。最基本的正则化方法是在原目标代价函数 中添加惩罚项对复杂度高的模型进行“惩罚”。其数学表达形式为 Jˇ(w;X,y)J(w;X,y)αΩ(w)\check{J}(w; X, y)J(w; X, y) \alpha\Omega(w)Jˇ(w;X,y)J(w;X,y)αΩ(w) 式中X,yX, yX,y为训练样本和相应标签, www为权重系数向量; J()J()J()为目标函数, Ω(w)\Omega(w)Ω(w)即为惩罚项, 可理解为模型规模的某种度量; 参数α\alphaα控制正则化的强弱. 不同的Ω\OmegaΩ函数对权重w的最优解有不同的偏好, 因而会产生不同的正则化效果. 最常用的Ω\OmegaΩ函数有两种, 即l1l_1l1范数与l2l_2l2范数, 相应称之为l1l_1l1正则化和l2l_2l2正则化.此时有: l1:Ω(w)∣∣w∣∣1∑i∣wi∣l_1: \Omega(w)||w||_1\sum_i|w_i|l1:Ω(w)∣∣w∣∣1∑i∣wi∣ l2:Ω(w)∣∣w∣∣2∑iwi2l_2: \Omega(w)||w||_2\sqrt{\sum_iw_i^2}l2:Ω(w)∣∣w∣∣2∑iwi2
正则化的实现
在Pytorch中正则化的实现只需要一行代码, 如下:
optimizer torch.optim.SGD(model.parameters(), \
lrconfig.learning_rate, momentum0.9, weight_decay0.000001)在这个函数调用中weight_decay0.001weight\_decay0.001weight_decay0.001就是L2范数.
