sanra123的博客

对Embedding一直有点迷迷糊糊的，今天看了关于Embedding层的介绍，大概就是将one-hot转换成紧凑的向量表示吧。下面是理解了下官方pretrained_word_embeddings.py(github)案例后自己的注释和理解，主要是利用将Glove6B中的100维预训练好的向量取出来BASE_DIR = '../data/'GLOVE_DIR = os.path.joi...

1. 下载链接：https://fb-public.app.box.com/s/chnq60iivzv5uckpvj2n2vijlyepze6w2. 数据集大小大小: 32.9M3. 及文件组成（1） 任务 1-5trainingdevelopmenttesting100010001000其中，任务1-5还包含一个OOV测试集文件，与tst文件不同之处是...

传统端到端学习的弊端：数据驱动型，需要海量数据来学习简单的行为数据驱动型，需要海量数据来学习简单的行为领域迁移时，无法加入领域先验知识本文提出的HCN（端到端，任务型），不仅可以保留对话状态的潜在表示，还能显著减少训练数据量（结合监督学习和强化学习来优化），同时获得satte-of-art的性能。端到端和pipeline的对比：pipeline需要经过 NUL，DST，动作...

2017年Google发表在NIPS的一篇文章，到现在已经1200+的引用量了，可以看到现在多火了吧。还是要来看看的，粗略读一下吧。后续，从阅读理解的Encoder-Decoder方面改一下看看会不会有改进点。还有Mem2seq的代码看一下。相似度概率计算的公式可以改一下试试。主要序列转导模型基于包括编码器和解码器的复杂RNN或者CNN网络，性能最佳的模型是通过注意力机制链接编码器和解码器。本...

哈工大录于COLING 2018的文章参考：https://www.jiqizhixin.com/articles/2018-08-31任务型对话中基于对话状态表示的Seq2Seq学习还没看完orz简介任务型对话中，传统的pipeline模型需要对对话状态进行显示建模，这需要人工定义对话领域相关的知识库进行检索的动作空间。Seq2Seq模型可以直接学习从对话历史到当前轮回复的一个映射...

2019AAAI的一篇文章，这篇其实没有看，有作者的一份介绍，很详细了。参考：https://mp.weixin.qq.com/s/AqzdRoXthrUFUOqSNwgfqQ

来源： 2018 NIPS–微软亚洲研究院参考：https://www.msra.cn/zh-cn/news/features/nips-2018-papers-from-msra1. 文章概述：对话中的多轮问答和语义分析是NLP领域两个核心问题，对语音助手、聊天机器人和搜索引擎都至关重要。在本文中，我们提出了基于知识图谱的对话式语义分析模型。（有点没想通复制了之前的KB实体之后呢?就是复制...

这里self.encoder = EncoderMemNN(lang.n_words, hidden_size, n_layers, self.dropout, self.unk_mask)是用于EncoderMemNN 中进行初始化的。要去查找encoder的引用关系decoder_hidden = self.encoder(input_batches).unsqueeze(0...

基于注意力的复制机制，在Memseq和HPGMN中都有提到。

终于还是要看看这篇论文的呀，吃饭之前看个七七八八吧。文章2015年6月9日提交，最后修改版本到2017年1月2日了。代码：https://github.com/yujiakimoto/ptr-net参考（解释的很清楚了）：https://lianhaimiao.github.io/2018/08/21/Pointer-Network-的一些理解/1.摘要提出了一种新的神经网络结构来学习输...

1.简介2016 年的论文用attention来处理神经网络中rare and unseen words，用了两个softmax层来预测模型中的下一个词。一个预测源语句中单词的位置，另一个单词预测短名单词汇表中的单词，通过MLP层以上下文为依据决定使用哪个softmax。PS代码：https://github.com/caglar/pointer_softmax难点： 单词数量巨大，且是不...

主要记录下官方example中lstm_seq2seq.py的个人理解和注释。案例实现了基本字符级别的seq2seq模型，并通过一个翻译任务的样例来展示。数据集是这个，我下载的cmn-eng英语到汉语的数据集，1247KB。流程是encoder将数据编码成中间表示C，decoder将C解码成翻译后的数据。1. 数据预处理每一行数据包含一句英语和一句翻译后的中文，用'\t'隔开，数据预处理截断将...

待续

待续

总的来说，这篇论文提出了一个数据集incar personal assistant，并提出添加指向KB的注意力机制，和复制增强网络这篇好像A Copy-Augmented Sequence-to-Sequence Architecture Gives Good Performance on Task-Oriented Dialogue，不过这篇是在解码时向输入语句中添加注意力，这样可以复制原句中的...

代码（搬运工）：https://github.com/HLTCHKUST/Mem2Seq

全局到本地记忆指针网络参考：https://zhuanlan.zhihu.com/p/54327404香港科技大学-ICLR2019知识库通常很大，很难融入到学习模型中。本文提出全局到本地记忆指针（GLMP）网络来解决这个问题。提出了全局存储器编码和本地存储器解码来共享外部知识。编码器对对话历史进行编码，修改全局上下文表示，并生成全局记忆指针。解码器首先生成带有未填充槽的草稿响应。接下来它传...

啊， 周末了，好想约漂亮的小哥哥小姐姐们粗去浪呀。然鹅！毕业要紧！毕业要紧！毕业要紧！稳住，我们能赢~看了几篇论文，发现之前对于基础模型的理解还不是很透彻，想从代码层面理解一下，收集了以下的资料，谢谢各位大佬的分享。Encoder-Decoder机制漫谈四种神经网络序列解码模型代码实现Attention机制Pointer-netcopy机制代码实现...

在写论文的时候第二章要介绍分布式词表示，找了蛮久，发现了这篇博士论文，讲的很详细呀！仔细一看原来是赵军老师的实验室，66666。记一下：https://arxiv.org/ftp/arxiv/papers/1611/1611.05962.pdf基于神经网络的词和文档语义向量表示方法研究 --来斯惟...