NLP总结
关注
分享
扫一扫
文章平均质量分 96
胡牧之.
此人很懒，但还添加了简介
展开
-
词嵌入（二）：基于上下文窗口的静态词嵌入（从NNLM、C&W模型谈到基于层次Softmax、负采样的Word2Vec模型）
从经典NNLM出发，从其局限处一步步讨论到Word2Vec；主要介绍了Word2Vec中4种实现方式，计算梯度，理解流程原创 2024-09-13 10:00:11 · 1042 阅读 · 0 评论 -
词嵌入（一）：基于矩阵分解的静态词嵌入（VSM、TF-IDF、SVD）
从Distributional Hypothesis出发介绍Distributional Representation，对词-文共现矩阵使用TF-IDF赋值和SVD分解，并尽可能说明相应的原理和实现原创 2024-09-06 10:18:58 · 1253 阅读 · 0 评论 -
Transformer总结(一)：基础介绍（注意力机制、自注意力机制、位置编码、多头注意力机制）
结合代码和图像，对注意力机制、自注意力机制、位置编码、多头注意力机制做了一些基础介绍；内容主要源于李沐老师和李宏毅老师，补充了一些个人理解原创 2024-05-02 16:31:35 · 1274 阅读 · 0 评论 -
Transformer总结(二)：架构介绍（从seq2seq谈到Transformer架构）
由seq2seq谈到编码器解码器架构，再向其中引入注意力机制，探讨Bahdanau Attention的局限性，介绍Transformer整体的架构，借助动图理解处理流程，辨析解码器训练阶段和预测阶段的差异原创 2024-08-22 18:41:41 · 1272 阅读 · 0 评论 -
Transformer总结(三)：组件介绍（位置编码，多头注意，残差连接，层归一化，基于位置的前馈网络）
介绍Transformer的一些组件，尽可能从多角度来探讨它们的作用。涉及位置编码的实现、比较层归一化和批量归一化、解码器中前瞻掩码的实现和作用原创 2024-08-24 15:57:09 · 1020 阅读 · 0 评论