自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

mathor的博客

数学家是我理想

博客等级

码龄9年

人工智能领域优质创作者

博客专家认证

233
原创

1929
点赞

8522
收藏

6万+
粉丝

关注

私信

热门文章

分类专栏

中级算法付费 32篇
杂记 3篇
深度学习 64篇
Matlab 11篇
数学 1篇
算法 63篇
机器学习 7篇
计算机网络 18篇
计算机组成原理 6篇
密码学 3篇
CTF 2篇
编译原理 22篇
渗透测试 7篇
JSP 5篇
Python 3篇
Java 4篇
LeetCode 4篇

最新评论

BERT 的 PyTorch 实现（超详细）
晚安玛卡把卡: 关于第二个问题，fc2和嵌入层共享权重可以加快模型的收敛速度，但毕竟是两个不相关的映射，会对收敛后的精度造成影响。所以，我认为不应该共享权重。为了保证收敛速度，可以在EncoderLayer中补充加入前馈（作者遗漏了这一点）改后因该是： class EncoderLayer(nn.Module): def __init__(self): super(EncoderLayer, self).__init__() self.enc_self_attn = MultiHeadAttention() self.pos_ffn = PoswiseFeedForwardNet() def forward(self, enc_inputs, enc_self_attn_mask): enc_outputs_1 = self.enc_self_attn(enc_inputs, enc_inputs, enc_inputs, enc_self_attn_mask) # enc_inputs to same Q,K,V enc_outputs_1 = enc_outputs_1 + enc_inputs enc_outputs_2 = self.pos_ffn(enc_outputs_1) # enc_outputs: [batch_size, seq_len, d_model] enc_outputs_2 = enc_outputs_2 + enc_outputs_1 return enc_outputs_2
AutoEncoder的PyTorch实现
creathque: MSE + 感知损失
BERT 的 PyTorch 实现（超详细）
五弦木头: seg_embedding 不对，不能用 nn.Embedding
TextRNN的PyTorch实现
upseeaqours: 多谢了，帮大忙了，差点入不进NLP大门
Transformer的PyTorch实现（超详细）
hahahliluya: get_attn_pad_mask这个函数是不是有错误？在它输入q和k相同的情况下，padding_masked应该是一个对称的矩阵吧？按照函数中最后的pad_attn_mask.expand(batch_size, len_q, len_k)，返回的是一个每一行都相同的maked

CTF

关注

关注数：文章数：2 文章阅读量：13649 文章收藏量：76

作者: 数学家是我理想

博客：https://wmathor.com

展开

专栏收录文章