WDSR——论文代码笔记

最新推荐文章于 2024-08-07 10:30:13 发布

原创最新推荐文章于 2024-08-07 10:30:13 发布 · 1.1k 阅读

·

0

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入解析WN算法的运行机制，包括梯度计算、学习率调整及参数更新流程。通过理解g、V_scaler和W的关系，阐述如何利用Adam方法优化参数，适用于深度学习模型训练。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

WN的理解

1、计算梯度 grads
2、获得lr，如果需要衰减就对应衰减
3、迭代次数更新 t=iterations+1

4、计算本次迭代的lr，lr_t = lr*sqrt(1-pow(beta_2,t))/(1-pow(beta_1,t))

初始状态
params：初始值
grads：根据p和loss计算得到
ms：初始为0，不断更新
vs：初始为0，不断更新

根据parms、grads计算g和V
因为 W = (g/||V||)*V，其中V_scaler = g/||V||，则W = V_scaler*V
V_scaler = g/||V||，初始化为1，也是不断更新的
W已知，V_scaler也已知，可得到 V = W/V_scaler
根据V计算||V||
再根据V_scaler和||V||，得到g=V_scaler*||V||
计算g和V的梯度，根据论文里边的公式，用到grads

用Adam方法更新g和V
用新的g和V更新W
用V计算||V||
V_scaler = g/||V||得到更新
W = V_scaler*V

更新g、v、p

博客等级

码龄14年

16
原创

7
点赞

63
收藏

6
粉丝

关注

私信

热门文章

分类专栏

RS 2篇
OCR 2篇
VideoRecommendation 7篇

上一篇：: Wide Activation for Efficient and Accurate Image Super-Resolution（WDSR）

下一篇：: Pixel-Anchor: A Fast Oriented Scene Text Detector with Combined Networks——译文

最新评论

快手ppnet模型
优快云-Ada助手: 非常感谢您的分享，快手ppnet模型真的很有趣！我觉得您可以写一篇关于如何使用ppnet模型进行图像分类的技术文章。这样的文章对其他对图像处理感兴趣的读者非常有帮助，可以深入了解ppnet模型的应用和优势。期待您的下一篇文章，相信会有更多读者受益！为了方便博主创作，提高生产力，优快云上线了AI写作助手功能，就在创作编辑器右侧哦～（https://mp.youkuaiyun.com/edit?utm_source=blog_comment_recall ）诚邀您来加入测评，到此（https://activity.youkuaiyun.com/creatActivity?id=10450&utm_source=blog_comment_recall）发布测评文章即可获得「话题勋章」，同时还有机会拿定制奖牌。
Wide Activation for Efficient and Accurate Image Super-Resolution（WDSR）
zhonglingyuxiuYYX: 请问weight norms是加在了残差模块的每一个卷积层后面吗？我理解的是相比较原本resnet中，用bn层的全都换成了wn层，是这样吗？ [code=python] ##### head.append( wn(nn.Conv2d(args.n_colors, n_feats, 3, padding=3//2))) ##### for i in range(n_resblocks): body.append( Block(n_feats, kernel_size, args.block_feats, wn=wn, res_scale=args.res_scale, act=act)) ##### tail = [] out_feats = scale*scale*args.n_colors tail.append( wn(nn.Conv2d(n_feats, out_feats, 3, padding=3//2))) tail.append(nn.PixelShuffle(scale)) skip = [] skip.append( wn(nn.Conv2d(args.n_colors, out_feats, 5, padding=5//2)) ) skip.append(nn.PixelShuffle(scale)) [/code]
Wide Activation for Efficient and Accurate Image Super-Resolution（WDSR）
zhonglingyuxiuYYX: 请问weight norms是加在了残差模块的每一个卷积层后面吗？我理解的是相比较原本resnet中，用bn层的全都换成了wn层，是这样吗？ [code=python] ##### head.append( wn(nn.Conv2d(args.n_colors, n_feats, 3, padding=3//2))) ##### for i in range(n_resblocks): body.append( Block(n_feats, kernel_size, args.block_feats, wn=wn, res_scale=args.res_scale, act=act)) ##### tail = [] out_feats = scale*scale*args.n_colors tail.append( wn(nn.Conv2d(n_feats, out_feats, 3, padding=3//2))) tail.append(nn.PixelShuffle(scale)) skip = [] skip.append( wn(nn.Conv2d(args.n_colors, out_feats, 5, padding=5//2)) ) skip.append(nn.PixelShuffle(scale)) [/code]
WDSR——论文代码笔记
zhonglingyuxiuYYX: 请问weight norms是加在了残差模块的每一个卷积层后面吗？我看这个意思除了残差块以外，原本resnet中用bn层的都换成了wn层，是这样吗？[code=python]head.append( wn(nn.Conv2d(args.n_colors, n_feats, 3, padding=3//2))) for i in range(n_resblocks): body.append( Block(n_feats, kernel_size, args.block_feats, wn=wn, res_scale=args.res_scale, act=act)) tail = [] out_feats = scale*scale*args.n_colors tail.append( wn(nn.Conv2d(n_feats, out_feats, 3, padding=3//2))) tail.append(nn.PixelShuffle(scale)) skip = [] skip.append( wn(nn.Conv2d(args.n_colors, out_feats, 5, padding=5//2)) ) skip.append(nn.PixelShuffle(scale)) [/code]
Wide Activation for Efficient and Accurate Image Super-Resolution（WDSR）
zzwwllii 回复 weixin_43865030: 你可以看一下后边一篇文章 https://blog.youkuaiyun.com/zhangwl27/article/details/88388490

最新文章

目录

展开全部

收起

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。