- 博客(3)
- 收藏
- 关注
RSS订阅转载 einsum满足你一切需要：深度学习中的爱因斯坦求和约定
作者：Tim Rocktäschel 编译：weakish 【编者按】FAIR研究科学家Tim Rocktäschel简要介绍了einsum表示法的概念，并通过真实例子展示了einsum的表达力。 当我和同事聊天的时候，我意识到不是所有人都了解einsum，我开发深度学习模型时最喜欢的函数。本文打算改变这一现状，让所有人都了解它！爱因斯坦求和约定（einsum）在numpy和TensorFlow之类的深度学习库中都有实现，感谢Thomas Viehmann，最近PyTorch也实现了这一函数。关于einsu
2021-03-20 16:06:38
290
原创 torch.nn.utils.rnn.pad_packed_sequence()的注意事项
跑程序时报错RuntimeError: shape ‘[4, 5, 50, 500]’ is invalid for input of size 450000，一看知道是维度不一致，发现是出现这torch.view()这里，再往下找发现出现在pad_packed_sequence()这里。 很多讲解pytorch如何处理RNN变长padding的博客，但大家都没有提到一个问题，就是torch.nn.utils.rnn.pad_packed_sequence()的参数问题。(其实也不是啥大问题，只是大家没有提
2021-03-20 15:30:07
430
原创 Pytorch之pack_padded_sequence与pad_packed_sequence函数
因为专注于NLP的学习与研究，所以经常接触文本数据，文本数据有一个不好的地方是不同的文本的长度不同，而输入到模型中一个Batch的数据要求他们的长度是相同的，这就产生了要给文本加padding，使得一个Batch中所有的文本长度变成相同的，但pad不能参与到训练，这就给广大的炼丹师带来了麻烦，但幸好Pytorch给我们提供了两个函数pack_padded_sequence与pad_packed_sequence让我们很好的解决了这个问题。 import torch from torch.nn.utils.r
2021-03-19 21:53:34
317
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人