黄发良的博客-优快云博客

原创答案选取(基于嵌入表示的相似度量)

1. ICLR2016- lstm-based deep learning models for nonfactoid answer selection提出3个模型 QA-LSTM：利用参数共享的bi-lstm与（mean、max与concatenation之类）pooling操作获得问句与答句的分布式表示，然后进行问句与答句的相似匹配 QA-LSTM/CNN：在QA-LSTM中加入卷积层，

2017-07-07 07:47:59 1017

原创 LSTM及其变体(一)

经典LSTM(1997) 1. 三个门的信息流入ft=σ(Wf⋅[ht−1,xt]+bf){f_t} = \sigma \left( {{W_f} \cdot [{h_{t - 1}},{x_t}] + {b_f}} \right) (1)it=σ(Wi⋅[ht−1,xt]+bi){i_t} = \sigma \left( {{W_i} \cdot [{h_{t - 1}},{x

2017-07-05 09:09:25 1792

原创 linux菜鸟小招

1. ubuntu下进行u盘的挂载查看s1)打开命令行（ctrl+alt+t)，输入指令 sudo fdisk -l; s2）根据显示的System与Device信息，进行类似如下操作：/dev/sdb1为Device信息，vfat与nfs分别为System信息 fat32: mount -t vfat /dev/sdb1 /media 或 ntfs: mount -t nfs /dev

2017-06-28 08:24:33 246

原创 python基础

什么是*args和**kwargs？*args表示任何多个无名参数，它是一个tuple，**kwargs表示关键字参数，它是一个dictdir()函数:列出模块定义的函数、类和变量等标识符List是可变的(mutable),tuple是不可变的(immutable),只支持读取操作 empty_tuple=(), single_tuple=(item1,),必须在第一个（唯一一个

2017-06-25 09:50:49 283

DeepIntent模型文献：Zhai S, Chang K H, Zhang R, et al. DeepIntent: Learning Attentions for Online Advertising with Recurrent Neural Networks[C]// KDD 2016:1295-1304.思想从pooling的角度来解释attention机制，last pooling（

2017-06-19 15:27:53 1861

原创继续dropout

Selective Dropout文献：Barrow E, Eastwood M, Jayne C. Selective Dropout for Deep Neural Networks[M]// Neural Information Processing. Springer International Publishing, 2016. 方法：根据dropout率来决定每层需要dropout的单

2017-06-16 15:12:19 375

原创 RNN变体之dropout

问题RNN在迭代运用状态转换操作“输入到隐状态”实现任意长序列的定长表示时，会遭遇到“对隐状态扰动过于敏感”的困境。dropoutdropout的数学形式化:y=f(W⋅d(x))y=f(W \cdot d(x)), 其中d(x)={mask∗x, if train phaseing(1−p)x,otherwised(x) = \left\{ {\begin{array}{*{20}{c}} {m

2017-06-08 09:29:36 5409

原创面向语法分析的word2vec修正

文献：L Wang，C Dyer， AW Black， I Trancoso. Two/Too Simple Adaptations of Word2Vec for Syntax Problems[C]. ACL 2015: 1299–1304. https://github.com/wlin12/wang2vec问题分析CBOW与skip-gram在利用目标词的上下文进行其语义嵌入表示时，没有考

2017-06-06 14:52:10 1098

原创面对稀疏噪声的有标签数据时如何改造通用词嵌入表示

文献：RF Astudillo ， S Amir ， W Lin ， M Silva ， I Trancoso. Learning Word Representations from Scarce and Noisy Data with Embedding Sub-spaces[C]. ACL 2015:1074–1084

2017-06-06 10:27:17 549

原创利用词间语义先验关系提升词嵌入表示

文献：Yu M, Dredze M. Improving Lexical Embeddings with Semantic Knowledge[C]. ACL 2014: 545-550.思想提出关系受限RCM模型，利用词间语义先验关系提升词嵌入表示。Relation Constrained Model（RCM）定义关系R,比如语义相似度小于某个指定阈值的词序偶wi,wj>集合

2017-06-05 20:34:06 722

原创基于语义知识不等式的词嵌入

文献：Liu Q, Jiang H, Wei S, et al. Learning Semantic Word Embeddings based on Ordinal Knowledge Constraints[C]. ACL 2015: 1501-1511.Motivation1）纯数据驱动的SWE有可能使得一些反义词之间的距离比同义词之间的距离还要小；2）语料库的不完备（语义相近的一对词却在数据

2017-06-05 09:31:07 442

原创面向语义对比分析的词嵌入

文献：Chen Z, Lin W, Chen Q, et al. Revisiting Word Embedding for Contrasting Meaning[C] ACL 2015: 106-115.基本思想现有的词嵌入模型都是建立在“分布式语义”的假设之上，即“具有相似上下文的词语具有相似语义”，而语义具有对比意义的不同词往往具有相似的上下文. 因而，这些模型难以胜任语义对比分析的任务。方

2017-06-03 16:33:11 1193

原创面向依存关系语法分析的词向量裁剪

文献：Bansal M, Gimpel K, Livescu K. Tailoring Continuous Word Representations for Dependency Parsing[C]//ACL (2). 2014: 809-815.

2017-06-03 11:11:23 685

原创词嵌入的复用

文献：Labutov I, Lipson H. Re-embedding words[C]//ACL (2). 2013: 489-493.主要思想：一方面，词的嵌入表示形式与学习任务密切相关（dramatic (term X) and pleasant (term Y ) to correlate with a review of a good movie (task A)，而在dating pr

2017-06-02 22:40:25 503

原创面向语义关系的word2vec

面向语义关系的word2vec文献：Hashimoto K, Stenetorp P, Miwa M, et al. Task-oriented learning of word embeddings for semantic relation classification[J]. arXiv preprint arXiv:1503.00095, 2015. 主要思想： - 从词语间语义关系提取

2017-06-02 18:04:29 947

falianghuang的博客