David's Notes

文章目录12. Transformer12.1 Introduction12.2 在 Seq2Seq 架构中计算 Attention12.2.1 计算 Key k:ik_{:i}k:i​ 和 Query q:jq_{:j}q:j​12.2.2 计算 α:j\alpha_{:j}α:j​12.2.3 计算 Value v:iv_{:i}v:i​12.2.4 千呼万唤始出来：计算 cjc_jcj​12.3 Attention without RNN12.3.1 Attention 层12.3.1.1 计算 En

文章目录11. Self-Attention11.1 Introduction11.2 Training11.2.1 初始化11.2.2 计算 h1h_1h1​11.2.3 计算 c1c_1c1​11.2.4 计算 h2h_2h2​11.2.5 计算 c2c_2c2​11.2.6 计算 h3h_3h3​11.2.7 计算 c3c_3c3​11.3 Summary11. Self-Attention11.1 IntroductionSeq2Seq 模型有两个RNN网络，一个 Encoder，一个 Dec

文章目录10. Seq2Seq10.1 Baseline Seq2Seq 架构10.1.1 技术架构10.1.1.1 第一步：Tokenization & Build Dictionary10.1.1.2 第二步：Word Emebedding10.1.1.3 第三步：Training Seq2Seq Model10.1.1.4 第四步：Inference Using the Seq2Seq Model10.1.2 模型优缺点10.1.3 优化10.1.3.1 Encoder 变成 双向10.1.3

安装 OpenCC 简繁体中文转换1. 下载2. 安装3. 测试1. 下载https://github.com/BYVoid/OpenCC2. 安装tar -zxvf opencc-1.0.4.tar.gzsudo apt-get install cmakesudo apt-get install doxygencd opencc-1.0.4makesudo make ...

自然语言处理概述1. 自然语言处理包含的任务1. 自然语言处理包含的任务

LR 和 SVM 的区别与联系联系都是分类算法 在很大一部分人眼里，LR是回归算法。我是非常不赞同这一点的，因为我认为判断一个算法是分类还是回归算法的唯一标准就是样本label的类型，如果label是离散的，就是分类算法，如果label是连续的，就是回归算法。很明显，LR的训练数据的label是“0或者1”，当然是分类算法。其实这样不重要啦，暂且迁就我认为他是分类算法吧，再说...

Paper: 刘知远 2016 知识表示学习研究进展 计算机研究与发展 1. 表示学习旨在将研究对象的语义信息表示为稠密低维表示向量；而知识表示学习则面向知识库中的实体和关系进行表示学习；该技术可以在低维空间中高效计算实体和关系的语义联系，有效解决数据稀疏问题，使知识获取、融合、推理的性能得到显著提升。 2. 目前的产品：谷歌知识图谱；微软Bing Satori；百度知心；搜狗知立方；IBM W

Python发送邮件 发送邮件模块经常被用到，比如报警模块，消息通知模块等等。深度学习模型训练的时候，也经常会用到，通知训练者模型已经训练完成。

前言本篇博文将详细讲解LDA主题模型，从最底层数学推导的角度来详细讲解，只想了解LDA的读者，可以只看第一小节简介即可。PLSA和LDA非常相似，PLSA也是主题模型方面非常重要的一个模型，本篇也会有的放矢的讲解此模型。如果读者阅读起来比较吃力，可以定义一个菲波那切数列，第 f(n) = f(n-1) + f(n-2) 天再阅读一次，直到这个知识点收敛。如果读者发现文章中的错误或者有改进之处，欢迎交

1. 常用函数的有用性质1.1 logistic sigmoid函数：σ(x)=11+e−x\begin{align}\sigma (x) &= \frac{1}{1 + e^{-x}}\end{align} logistic sigmoid函数通常用来产生Bernouli分布中的参数Φ\Phi, 因为它的范围是(0, 1), 处在Φ\Phi的有效取值范围内。sigmoid函数在变量取

Moore-Penrose伪逆1. 作用 对于方程Ax = y, 如果A可逆，我们可以求得 x = A^-1 y；当矩阵A的行数大于列数，那么方程可能没有解。当行数小于列数时，存在多个解。 此时，使用Moore-Penrose 伪逆(Moore-Penrose pseudoinverse)用来解决这类问题，来求得一个x，使得Ax和y的欧几里得距离最小。2. 求法 矩阵A的伪逆定义

奇异值分解：Singular value decomposition (SVD)1. 作用 SVD是将矩阵分解为奇异值（singular vector）和奇异值（singular value），对非方阵进行操作的方法。 每个实数矩阵都有一个奇异值分解，但不一定都有特征分解。非方阵的矩阵没有特征分解，这是我们只能使用奇异值分解。 对于特征值分解，矩阵A可以写成： A=Vdiag(λ)V

1. 环境及语料1.1 环境HomebrewPythonjieba分词库gensim库1.2 下载维基百科语料 从这个链接下载http://download.wikipedia.com/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2 本文只使用中文WiKi进行Word2Vec实验，英文的Wiki比较好...

1. 环境及语料1.1 环境PythonGloVe1.2 语料 处理之后的中文Wiki 处理步骤参考我的这篇博客：使用中文维基百科进行Word2Vec实验。处理之后得到文件：corpus.zhwiki.segwithb.txt 2. 实验2.1 GloVe获取GloVe，命令：wget http://www-nlp.stanford.edu/software/GloVe-1