firesolider的博客

在反复的看了ELMo源码和参考网上各路大神的经验之后，终于对ELMo的架构有了比较清楚的认识。总结一下自己对ELMo的理解，其实还有很多细节没有搞清楚。一.模型架构下面是我画的一个架构简图，对于ELMo不管你输入的是词还是字符，它都会以字符的单位进行后续的字符卷积，对与词的索引是根据词典序号索引的，而字符论文说英文的字符加上一些特殊的标记字符总共不会超过262个...

Hinton大牛的对比散度阅读笔记个人感想：为了看懂这篇论文查了大量资料，感觉很多博客的理解讲得不是很清楚，大多数是关于对比散度在RBM中的应用。后来跟老师讨论了一下感觉已经大致理解了这篇文章的核心思想。另外大部分公式是自己手动敲的，欢迎大家评论转载，哈哈哈哈！1.PoE模型什么是PoE(product of experts)模型呢，更确切地说他应该是一种思想，就是把很多个...

备注：一下除了图片是论文中的，其它全部是原创。1 问题描述：根据5个给定的话题词，生成一篇短文，要求大概就是这篇短文起码要通顺把，然后5个话题都要出现在这篇短文当中。2 数据集介绍：作者自己构建了两个数据集，一个是作文的数据集，另外一个是zhihu数据集，感觉作文的数据集数据质量比较高，zhihu的数据集质量比较差一点，而且作文数据集5个话题全部出现在了生成的短文里面，而zhi...

这篇文章是基于图注意力的对话生成，这篇文章的内容，简单概括来说就是一个concpetNet知识图谱（常识库），3个注意力，一个copy mechanism.将论文公式和论文的代码结合起来我觉得是一种很好的学习方法，所以下面我会这种方式介绍这篇论文。备注：如有错误欢迎批评指证，欢迎评论转发1 背景1.1 问题定义input：{x1,x2,...,xn},output：{y1,y2,...

论文简介 改论文主要引入了外部知识使得封闭领域的视觉问答(VQA-visual question answering)任务变为开放领域的视觉问答,任务形式化：输入：一张图片+围绕图片的问题+根据问题在知识图谱中检索的外部知识(论文中使用三元组）输出：问题的答案(一般有4个候选类别）外部知识的获取这一步显然是很关键的，如果获取有用的外知识是模型有效的先决条件。由于输入是图片和问题文本，对于图片作者使用FatsRCNN(用于目标检测的模型，首先FastRCNN应该是预...