- 博客(6)
- 收藏
- 关注
RSS订阅原创 transformer里的layer-norm理解
感谢沐神的讲解。以往由于深度网络造成的参数波动大，担心梯度受此影响使用batch-norm将其标准化减小参数震动。时序的翻译任务中，样例长短不一，由词语翻译而成的含义向量应该都是在同一个规模水平的上向量，如果仍然使用batch-norm，由于为了补齐长短不一的样例而添加进去的0使得较长序列中词语的含义向量规模相对变小，较短序列中的词转换为含义向量的规模相对变大。平白无故增添了误差抖动。使用layer-norm保证每个序列中词语转成的含义向量在同一规模上。...
2021-12-02 20:48:44
3719
转载 python 列表生成式
# 列表生成式print([i for i in range(1, 11)])print([i*2 for i in range(1, 11)])print([i*i for i in range(1, 11)])print([str(i) for i in range(1, 11)])print([i for i in range(1, 11) if i % 2 == 0])<br>转载来源:https://www.py.cn/faq/python/11687.html<.
2021-05-06 21:11:54
162
原创 动手学习深度学习pytorch-optimizer-step中batch_size问题
手动实现时，loss是batch_size的求和，在梯度下降时传入batch_size简洁使用optimizer时step发现没有batch_size,怀疑在loss处和手动实现不同发现MSEloss中有reduce和average_size问题解决
2021-04-21 22:40:05
371
原创 动手学习深度学习3.5.1 torchtext中一个模块找不到，版本有问题
动手学习深度学习3.5.1节中加载数据集也许需要手动下载d2lzh_pytorch，tqdm，torchtext、下载完之后仍然会报错，原因是torchtext中一个模块找不到，发现直接conda或者pip下载是0.9版本torchtext改为conda install torchtext==0.4.0之后正常...
2021-04-20 21:22:23
439
原创 ssm 返回jsp页面时请求在WEB-INF里的静态js，css资源404错误
今天做老师的一个实验，试用一下ssm。实验的前端页面是在服务器上jsp返回的。但是在请求jsp的js，css文件时报错404然后就去百度了spring mvc怎么访问WEB-INF下的静态资源。。。spring mvc 3.0之后提供了两种方法大家肯定可以百度的到。一种就是<mvc:resources />。贴一篇自己看过的感觉还行的文章。https://w...
2018-11-22 16:12:53
1056
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人