Nowl的博客

transfomer是自然语言处理中的一个重要神经网络结构，算是在传统RNN和LSTM上的一个升级，接下来让我们来看看它有处理语言序列上有哪些特殊之处

Word2Vec是一个经典的语言模型，它的模型参数是一个词嵌入向量矩阵，它的训练目的就是不断优化这个矩阵，以获得高性能的词嵌入向量矩阵，它有两个具体实现

自然语言处理（Natural LanguageProcessing）简称NLP，与一般的机器学习任务都不相同，自然语言处理研究我们的语言任务，因为文本是一个复杂的东西，我们如何让计算机去理解我们的自然语言是一个很有挑战的事情，一个普遍的思想就是将我们的语言进行编码one-hot是一种简单的词编码方式，它包含每个词在句子中的位置信息，看下面的简单示例假设有这样一句话: I like thestars，那么四个单词对应的one-hot向量分别如图中所示，one-hot向量的长度即为句子长度。

在广阔的人工智能领域中，有着这样一个神奇的分支——自然语言处理，它研究人工智能在各种语言场景中的应用，我们不禁会思考这样一个问题，电脑是怎么理解我们的自然语言的呢。