flying_1314的博客

宏观来讲，当今的天下，可以说是transformer的天下，今天下三分，分别是 自编码（Autoencoder），自回归（Autoregressive），和怎么理解呢？encoder（左派）自编码代表：bertseq2seq代表：bart自回归代表：gpt上面那个图大家看了可能就会首先有个宏观的了解，接下来，会稍微细节简单说一下，之后相关的文章也会跟进。

什么是伦理/道德？我们应该如何生活——苏格拉底• 正确的做法是什么？• 为什么？

摘要• 从文本中提取最重要的信息以生成缩短或删节的版本• 例子 ‣ 文档大纲 ‣ 科学文章摘要 ‣ 新闻标题 ‣ 搜索结果片段

理解文本• 英文维基百科：600 万篇文章• Twitter：每天 5 亿条推文• 纽约时报：1500 万篇文章• arXiv：100 万篇文章• 如果我们想了解有关这些文档集的一些信息，我们可以做什么？

介绍• 定义：问答（“QA”）是自动确定自然语言问题答案的任务• 主要关注“事实”问题

信息抽取

介绍• 机器翻译 (MT) 是将文本从一种源语言翻译成另一种目标语言的任务为什么？

上下文无关语法（回顾）• CFG 假设有一个选区树来标识句子中的短语‣ 基于这些短语可以互换（例如，将一个 NP 换成另一个 NP）并保持语法性的想法

解析中的歧义• 上下文无关文法为语言分配层次结构 ‣ 公式化为生成语言中的所有字符串 ‣ 预测给定字符串的结构

回顾• 中心嵌入

我们到目前已经介绍了什么？• 处理单词序列的方法： ‣ N-gram 语言模型 ‣ 隐马尔可夫模型 ‣ 循环神经网络• 这些模型没有任何基本的语言学

话语• 我们学到的大多数任务/模型都在单词或句子级别运行： ‣ 词性标注 ‣ 语言模型‣ 词法/分布语义• 但 NLP 经常处理文档• 话语：了解文档中句子之间的相互关系

词向量/嵌入• 每种词类型都有一种表示 ‣ Word2Vec• 无论单词的上下文如何，始终使用相同的表示• 无法捕捉词的多种含义• 上下文表示 = 基于上下文的单词表示• 预训练的上下文表示非常适合下游应用程序！...

词法数据库(上一篇提到)- 问题• 手动构建 ‣ 昂贵的 ‣ 人工标注可能存在偏差和噪声• 语言是动态的 ‣ 生词：俚语、术语等。‣ 新感官• Internet 为我们提供了大量文本。 我们可以用它来获得词义吗？...

情感分析• 词袋，kNN 分类器。 训练数据： ‣ “This is a good movie.” → ☺ ‣ “This is a great movie.” → ☺‣ “This is a terrible film.” → ☹• “This is a wonderful film.” → ?• 两个问题：‣ 模型不知道“电影”和“电影”是同义词。 由于“film”仅出现在负面示例中，因此模型了解到它是一个负面词。‣ “精彩”不在词汇表中（OOV – 词汇外）。...

循环神经网络 (RNN)• RNN 允许表示任意大小的输入• 核心思想：通过应用递推公式一次处理一个输入序列• 使用状态向量来表示先前已处理过的上下文

深度学习• 机器学习的一个分支• 重新命名神经网络• 神经网络：历史上受到大脑计算方式的启发 ‣ 由称为神经元的计算单元组成• 为什么深？ 许多层在现代深度学习模型中链接在一起...

的

词性也就是单词类别，形态类别，句法类别名词，动词，形容词等。POS告诉了我们单词和他邻居间的一点关系：

目录分类基础文本分类任务分类算法评估分类基础文本分类任务分类算法评估

推到n-gram语言模型平滑处理稀疏性生成语言

BPE，byte-pair encoding 字节对编码算法。主要目的是为了数据压缩，算法描述为字符串里频率最常见的一对字符被一个没有在这个字符中出现的字符代替的层层迭代过程。该算法在NLP的很多模型中dou...

语言是组成式的，对于人类而言，我们需要将长串的文本分割成独立的部分。对于计算机而言，理解语言也是如此。那么预处理就是第一步。

RNN字面意思循环神经网络，接下来放一张结构图，大家就比较直观地可以理解了。由这个图大家可以粗略地看出rnn的一个简单结构，它是一步一步向前传递的，所以说是和序列有关的。上面这个图就比较具体了，我们可以看出rnn其实有三层网络结构：输入层，隐藏层和输出层，都说rnn是参数共享的什么意思呢？看图，所有的输入层到隐藏层都共用矩阵Whx，所有的隐藏层中的节点向前传递信息都共用矩阵Whh，所有隐藏层到输出层都共用矩阵Wyh。LSTM字面意思长短期记忆网络，它出现的意义在于rnn无法记忆长

习题from gensim.models import word2vec sentences = ... model = Word2Vec(sentences, size=100, window=5, min_count=5, workers=4) 上述代码中size代表什么？A. 目标词的最远距离 B. 词向量的长度 C. 训练时的线程数 D. 参与训练词的最小出现频率 查看相应文档可知 def attention(a,b,c, mask=None, dropout=None): d_..

习题1．关于Word2vec，下列哪些说法是正确的（）(A) Word2vec是有监督学习(B)Word2vec利用当前特征词的上下文信息实现词向量编码，是语言模型的副产品(C)Word2vec不能够表示词汇之间的语义相关性(D)Word2vec是一个三层的深度神经网络模型2.Transformer 结构中不包括以下哪个内容？（A） Encoder-Decoder（B） Self-Attention（C） Add & Norm（D） Single-Head Attention

本文主要讲解从词向量到Bert，中间涉及到的概念或者细节，阅读时间大概6-10min