MebiuW的专栏

Introduction近年来RNN被广泛的应用于基于神经网络的NLP任务当中，比如说语言模型，QA等等，并且通常来说由RNN的相关结构能够在这些任务当中取得state of art的表现。不过呢，虽然RNN相关的网络在NLP任务中表现十分优异，但是其也有一些非常显著的缺点，比如说当一个语料库所对应的词表数量非常大的情况下，整个模型的大小也会随之变大。比如，当我们使用RNN构建语言模型的时候，我们首

前言记录下Sampled Softmax的一些原理，相当于论文 《 On Using Very Large Target Vocabulary for Neural Machine Translation 》的个人读书笔记，语句很不通顺，仅用作个人记录，若是有人有问题 再讨论吧1 问题NMT（神经网络系统现在已经得到了极大的发展，但是NMT系统一直存在一个问题，就是如何去应对词表过大的问题。词表过

Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks========简陋的记录=========== 背景知识：Distant Supervised Relation Extraction，该方法的主要思想是，假设知识库KB当中存在实体与实体的关系，那么将KB当中的关系引入到正