苗_的博客

目录前言正文hard attentionsoft attentionglobal attentionlocal attentionself-attention总结前言我们先简单聊下 attention 模型的引入。以基于 seq2seq 模型的机翻为例，如果 decoder 只用 encoder 最后一个时刻输出的 hidden state， 可能会有两个问题：encoder 最后一个 hidden state， 与句子末端词汇的关联较大，难以保留句子起始部分的信

目录Transformer模型回顾简述Transformer的输入单词 Embedding位置 EmbeddingSelf-Attention结构Q，K，V的计算Self-Attention的输出Multi-Head AttentionEncoder结构残差模块Feed ForwardDecoder结构第一个 Multi-Head Attention第二个 Multi-Head AttentionSoftmax 预测输出单词Transfor

N-grams模型自然语言处理过程中，一个值得我们主义的是，如果我们仅仅是将文本字符串分割成单独的文本，此时我们只是简单的去分析文本中每个字符所代表的潜在意义与我们需要分析的结果的关系性，然而我们忽略一个非常重要的信息，文本的顺序是含有非常重要的信息的。举一个简单的例子，“钓鱼”两个词，如果我们单独去分析这两个词，而不是看作一个整体的话，那么我们得到的语意意思就是“钓”是一个动作词，“鱼”是一个名词，而当两个字放在一起的时候，我们知道其实我们想表述的“钓鱼”是我们要做的一个活动（event）。又比

在pycharm里运行就不会，应该是jupyter的问题？（具体原因我也不是很清楚...）加一行代码即可：tf.app.flags.DEFINE_string('f', '', 'kernel')Referencehttps://blog.youkuaiyun.com/qq_35455503/article/details/86308556

目录00 前言01什么是 Word2vec ？02Word2vec 的 2 种训练模式CBOW（Continuous Bag-of-Words Model）结构图模型流程举例Skip-gram（Continuous Skip-gram Model）简单情形一般情形03Word2vec 的优化方法04Word2vec 的优缺点优点缺点Reference00 前言在说明 Word2vec 之前，需要先解释一下Word Embed...

最近在跑深度学习代码发现，有些代码是用tf1写的，而我的机子安装的是tf2，tf1到tf2还是有比较多的变化的，具体的版本变化自行百度，不贴出来了，这篇文章主要是提供一个解决办法怎么知道自己的报错是否是因为版本问题呢？我这里举一些报错出来吧：module 'tensorflow' has no attribute 'contrib'module 'tensorflow' has no attribute 'app'module 'tensorflow' has no attribute '

摘要一个神经元即一个感知机模型，由多个神经元相互连接形成的网络，即神经网络。本文：定义拥有一个隐层的神经网络，完成前向和后向传播的算法。此文主要是对代码的每一步进行注释，具体的数学公式推导（包括但不限于链式法则，对数几率函数求导）本文不做讲解变量定义：输出层第j个神经元的阈值为：θj隐层第h个神经元的阈值为：γh（γ是Gamma）输入层第i个神经元与隐层第h个神经元的连接权重为：vih隐层第h个神经元与输出层第j个神经元的连接权重为：ωhj每一步的数学公式推导（包括但不仅限于隐层第

在这里主要是讲Pytorch的下载和导入，所以anaconda和pycharm的安装就不聊了，自行Google..终端输入conda出现下图，即anaconda安装成功——进入正题：首先，下载pytorch前，先为pytorch创建一个虚拟环境，这是推荐的做法，这样在创建其他环境如tensorflow时，就不会互相冲突。在终端输入：conda create -n pytorch python=3.6就创建了一个名为pytorch，python版本为3.6的虚拟环境。于是我们可以把Pyt

转载博客：https://blog.youkuaiyun.com/deecheanW/article/details/89057405

在学习PYTHON自然语言处理这本书第一章的时候，遇到了一个问题，就是书中的代码（下图）运行出来结果不符，可以用这种方式来获得相同的效果：>>> fdist1 = FreqDist(text1)>>> vocabulary1 = sorted(fdist.items(), key=lambda jj:jj[1], reverse=True)>&g...

说明：本文代码均来自Natural Language Processing with Python1. concordance(" ")搜索某个特定词语在文章中出现的位置，并显示上下文2. similar(" ")搜索文章中与目标用法、意义相似的词3. common_contexts([" "," "])这个函数和similar有点类似，但是不同的是,这个函数是用来搜索list...