- 博客(6)
- 收藏
- 关注
RSS订阅原创 带有注意力机制的seq2seq中英文翻译模型
在这个项目中，基于注意力机制的Seq2Seq神经网络，将英文翻译成中文。数据集eng-cmn.txt样本如下，由两部分组成，前部分为英文，后部分为中文，中间用Tab分割。英文分词一般采用空格，中文分词这里使用jieba。Use this. 请用这个。Who died?谁死了？Am I dead?我死了吗？Answer me. 回答我。Birds fly. 鳥類飛行。Call home!打电话回家！Calm down. 冷静点。
2024-11-01 19:38:18
2457
1原创 67 自注意力【动手学深度学习v2】pytorch版（含练习）
自注意力的构造看起来和MLP很像，但是自注意力可以通过不学习参数（也可以学习）来通过query有意图地筛选那些对我更有用的key和value来得到对应的输出（通过softmax实现），而MLP是需要学习的，准确度是个随机，这得看模型的好坏了，自注意力约等于让机器学习那些更为有用的信息。公式用cos和sin的好处。堆叠基于位置编码的自注意力层，即通过多层自注意力模块叠加，利用位置编码的顺序信息，逐层增强对序列数据的理解，使得模型能够对序列中的每个元素进行更深层次的表示，捕捉到丰富的上下文和顺序依赖关系。
2024-10-27 18:59:57
2001
原创 加州2020年房子预测--kaggle
本文章利用简单的MLP对加州房价进行预处理和预测课程是李沐大神的动手学深度学习（pytorch）利用MLP对加州房价的预测。
2024-10-22 19:38:28
2177
空空如也
为什么gru的公式不能写成这样？
2024-10-25
pytorch报错问题
2024-10-06
TA创建的收藏夹 TA关注的收藏夹
TA关注的人