gaobing1993的博客

1.前言既然曹老爷子的后四十回丢了，那么每个人热爱它的人，都有一种激情去

1.前言 我希望我的技术是有温度的，也许是生活已经足够冰冷。我希望赋予我的模型以生命，它们在那个虚拟世界里面的生活，又何尝不跟我们这个所谓真实的世界一样呢？所以我叫他李小白，因为我喜欢那句‘乘风破浪会有时，直挂云帆济沧海’。2.目标 我们希望得到这样一个模型，当我输入第一个字的时候，她可以用这个字开头为我做一首诗。3.思路 我们会让模型读上万首诗，他会从中学习到一种能力，写诗。无关意境、无关思想、只...

1.随机场当给每个位置中，按照某种分布随机赋予相空间(值空间)的值，其全体就叫做随机场。简单说就是给定一些候选值，然后随机的把这些候选值填入到每个位置。2.马尔科夫随机场马尔科夫随机场就是符合马尔科夫性质的随机场，马尔科夫性质如下：局部马尔科夫性：给定了某个变量的邻接变量，则该变量和所有其它的变量无关(独立)全局马尔科夫性：将局部马尔科夫性由变量扩展到集合，给定某个变量集的邻接变量集，则该变量集和其它的变量其无关。成对马尔科夫性：将局部马尔科夫性反推，所有其它变量都已给定的情况下，两

1.TF-IDF TF-IDF(term frequency inverse document frequency)是一种将词转换为数值表示的方式。常用的one-hot编码的方式，数据太过于稀疏，如果词表中的词比较多，其占用的空间也很大。以前我们也聊过基于神经网络语言模型的词向量表示方式Word2Vector,比 one-hot使用空间较少；今天我们聊的TF-IDF是一种基于统计学的词向量表示方式。 TF(term frequency)指得就是一个词在整篇文章中出现的频率。计算...

1.简介 嘘！BERT来了,就是那个同时刷新了11个NLP任务记录的模型。从本质上来bert属于一个预训练模型，模型可以理解上下文和单词之间的关系，也可以理解句子和句子之间的关系。针对不同的任务，可以利用BERT进行不同的迁移学习。模型结构上来讲，其相当于是对Transformer中Encoder层的堆积。就这么一个本质上朴实无华的模型，是如何一时激起千层浪，将平静的NLP世界搞的天翻地覆的。下面让我们一起来领略一下其迷人之处，如果还不了解Transfomer的同学强烈建议先去学习Tra...

1.简介 马尔可夫模型是一种无记忆的模型，即在序列中t时刻状态只和t-1时刻相关，这是一种直接的关系。所谓的隐马尔可夫模型说的就是t时刻的状态和t-1时刻间接相关，也就是说两个观测变量之间并没有直接的关系，但是他们的隐藏变量序列符合马尔科夫性质。是不是很多看似相关的事物中，都会有一种隐藏的关系。要了解这种隐藏关系，就需要找到隐藏变量，并且发现其中的规律。这确实是一种很迷人的理论，他鼓励我们去发现那些看不见的联系。只要你足够了不起，这种思维方式对于了解宇宙的本源，也未尝不是一种可行性的方...

1.简介 接着上一篇Attention机制，我们来谈一谈Transformer。

1.前言 Attention!见名知意,它是对于人类注意力机制的一种模仿。当我们看到一张图像，一篇文字的时候，我们会本能的去注意那些更重要的部分，我们给这些东西叫做引人注目。计算机工程师们总是竭尽全力的让计算机接近人类，那么如何把注意力机制加在计算机上，让它们学会去抓重点呢？跟我来！2.Encoder-Decoder 因为现在很多的注意力机制模型都是附着在Encoder-Decoder模式基础上的，所以我们首先来聊一下它。举个例子，我听到一个美女说:"我觉得你跟我未...

1.前言 基于one-hot对于词汇进行编码的方式着实让人头疼，又无奈。头疼的是占用空间很大，计算量大，无奈的是这么简单粗暴的方式居然一直流传到了现在。今天给大家介绍一款基于神经网络语言模型来生成词向量的神器。在上一篇神经网络语言模型中我们介绍过语言模型的工作方式，将输入通过嵌入层转换为向量，然后使用投影层把各向量拼接在一起，通过隐层，再进入输出层。所以输入层中就得到了词向量矩阵。语言模型的核心是去表达文本，生成文本。词向量只是其中的一个环节，数据预处理的一部分。今天我们要讲解的词向量模...

1.闲言 每天晚上睡觉之前，我都会说服自己白天发生的一切都是假的，都已经过去了。就好像每天早上醒来，我也会不由自主的觉得昨天晚上发生的一切也都都是假的。其实仔细想一下，现实世界能够进入梦中的事物是很有限的。同样，梦中的事物能够流到现实世界的也是很有限的。那么在入口和出口的地方应该会有类似于过滤器一样的东西，把大部分的事物都给拦了下来。我就好像一堆沙子一样躺在那个地方，当清晨的太阳照射进来的时候，再凝聚成人的样式起来活动。在此我想表述的意思，并不是说这个世界是虚幻的，而是说它无比的真实。...