hlang8160的博客

一般认为计算语言学（CL）是语言学的一个分支，自然语言处理（NLP）是计算机科学的一个子学科。但是现在由于CL和NLP之间的界限越来越模糊，甚至两个领域的人常常去参加同样的会议，交流起工作来也完全没有障碍，于是一个问题出现了：NLP是跨语言学和计算机科学的交叉学科吗？近日在NLP学术圈里，因为Twitter上的一个推文引发了对这个问题的一场小争论。一、The Beginning

Batch Normalization原理 为了减少深度神经网络中的internal covariate shift，论文中提出了Batch Normalization算法，首先是对”每一层“的输入做一个Batch Normalization 变换批标准化（Bactch Normalization，BN）是为了克服神经网络加深导致难以训练而诞生的，随着神经网络深度加深，训练起来就会越来越困难...

https://blog.youkuaiyun.com/qq_20259459/article/details/53943413batchsize：中文翻译为批大小（批尺寸）。简单点说，批量大小将决定我们一次训练的样本数目。batch_size将影响到模型的优化程度和速度。为什么需要有 Batch_Size :batchsize 的正确选择是为了在内存效率和内存容量之间寻找最佳平衡。 Batch_Size的取...

LDA（Latent Dirichlet Allocation）学习笔记最近在看LDA算法，经过了几天挣扎，总算大致了解了这个算法的整体框架和流程。示例LDA要干的事情简单来说就是为一堆文档进行聚类（所以是非监督学习），一种topic就是一类，要聚成的topic数目是事先指定的。聚类的结果是一个概率，而不是布尔型的100%属于某个类。国外有个博客[1]上有一个清晰的例子，直接引用：Suppose ...

系统学习深度学习（二十）--ResNet,DenseNet,以及残差家族转自：http://blog.youkuaiyun.com/cv_family_z/article/details/50328175CVPR2016 https://github.com/KaimingHe/deep-residual-networks这是微软方面的最新研究成果， 在第六届ImageNet年度图像识别测试中，微...

信息检索评价是对信息检索系统性能（主要满足用户信息需求的能力）进行评估的活动。通过评估可以评价不同技术的优劣，不同因素对系统的影响，从而促进本领域研究水平的不断提高。信息检索系统的目标是较少消耗情况下尽快、全面返回准确的结果。IR的评价指标，通常分为三个方面：（1）效率(Efficiency)—可以采用通常的评价方法：时间开销、空间开销、响应速度。（2）效果(Effectiveness)：...

 CVPR 2017最佳论文作者解读：DenseNet 的“what”、“why”和“how”｜CVPR 2017 Huang G, Liu Z, Weinberger K Q, et al. Densely connected convolutional networks[J]. arXiv preprint arXiv:1608.06993, 2016. 如何评价Densely Con...

理解GloVe模型概述模型目标：进行词的向量化表示，使得向量之间尽可能多地蕴含语义和语法的信息。输入：语料库输出：词向量方法概述：首先基于语料库构建词的共现矩阵，然后基于共现矩阵和GloVe模型学习词向量。开始统计共现矩阵训练词向量结束统计共现矩阵设共现矩阵为XX，其元素为Xi,jXi,j。 Xi,jXi,j的意义为：在整个语料库中，单词ii和单词jj共同出现在一个窗口中的次数。 举个栗子： 设有...

https://blog.youkuaiyun.com/roger__wong/article/details/41175967浅层语义分析（LSA）是一种自然语言处理中用到的方法，其通过“矢量语义空间”来提取文档与词中的“概念”，进而分析文档与词之间的关系。LSA的基本假设是，如果两个词多次出现在同一文档中，则这两个词在语义上具有相似性。LSA使用大量的文本上构建一个矩阵，这个矩阵的一行代表一个词，一列代表...

首先，大概讲一下自然语言处理的背景。互联网上充斥着大规模、多样化、非结构化的自然语言描述的文本，如何较好的理解这些文本，服务于实际业务系统，如搜索引擎、在线广告、推荐系统、问答系统等， 给我们提出了挑战。例如在效果广告系统中，需要将 Query(User or Page) 和广告 Ad 投影到相同的特征语义空间做精准匹配，如果 Query 是用户，需要基于用户历史数据离线做用户行为分析，如果 Qu

转载自：美团技术团队，https://tech.meituan.com/deep_learning_doc.html深度学习在文本领域的应用美团算法团队 ·2018-06-21 23:39背景近几年以深度学习技术为核心的人工智能得到广泛的关注，无论是学术界还是工业界，它们都把深度学习作为研究应用的焦点。而深度学习技术突飞猛进的发展离不开海量数据的积累、计算能力的提升和算法模型的改进...

转载自：美团算法团队，https://tech.meituan.com/tensorflow_performance_bottleneck_analysis_on_hadoop.html使用TensorFlow训练WDL模型性能问题定位与调优郑坤 ·2018-04-08 19:53简介TensorFlow是Google研发的第二代人工智能学习系统，能够处理多种深度学习算法模型，以功...

协同过滤算法(collaborative filtering)https://www.cnblogs.com/xuanku/p/recsys.html简介CF算法的原理是汇总所有<user,item>的行为对, 利用集体智慧做推荐。其原理很像朋友推荐, 比如通过对用户喜欢的item进行分析, 发现用户A和用户B很像(他们都喜欢差不多的东西), 用户B喜欢了某个item, 而...

主题模型LDA        在开始下面的旅程之前，先来总结下我们目前所得到的最主要的几个收获：通过上文的第2.2节，我们知道beta分布是二项式分布的共轭先验概率分布：  “对于非负实数和，我们有如下关系      其中对应的是二项分布的计数。针对于这种观测到的数据符合二项分布，参数的先验分布和后验分布都是Beta分布的情况，就是Beta-Binomial 共轭...

引子：语言模型简介所谓语言模型（Language Model，LM），即给定一句话的前k个词，我们希望语言模型可以预测第k+1个词是什么，即给出一个第k+1个词可能出现的概率的分布p(xk+1|x1x2...xk)。衡量一个语言模型的好坏，最好的方法就是将其应用到具体的问题当中，比如机器翻译、speech recognition、spelling corrector等。然后看这个语言模型在...

自动文摘评测方法：Rouge-1、Rouge-2、Rouge-L、Rouge-S原文：https://blog.youkuaiyun.com/qq_25222361/article/details/78694617机器翻译自动评估-BLEU算法详解https://blog.youkuaiyun.com/qq_31584157/article/details/77709454BLEU，ROUG...

1.信息检索的评价指标1.1MAP平均准确率，一个query对应的准确率为AP，所有query对应的平均准确率为MAP。MAP反映系统在全部相关文档上性能的单值指标，系统检索出的相关文档越靠前，MAP就越高。1.2NDCGhttps://www.cnblogs.com/eyeszjwang/articles/2368087.html 2.Learning to rank介绍...

一、概念 二、Extractive抽取式算法 - TextRank 1、TextRank算法提取关键词 2、TextRank算法提取关键词短语 3、TextRank算法生成摘要 1）文本相似度 - BM25算法 4、TextRank算法优势 5、TextRank算法存在的问题及解决策略 三、Abstractive抽取式算法 1、seq2seq + attent...

本篇文章是我在读期间，对自然语言处理中的文本相似度问题研究取得的一点小成果。如果你对自然语言处理 (natural language processing, NLP) 和卷积神经网络（convolutional neural network, CNN）有一定的了解，可以直接看摘要和LSF-SCNN创新与技术实现部分。如果能启发灵感，应用于更多的现实场景中带来效果提升，那才是这篇文章闪光的时刻。如果...

自然语言处理主要步骤包括：1.分词（只针对中文，英文等西方字母语言已经用空格做好分词了）：将文章按词组分开2.词法分析：对于英文，有词头、词根、词尾的拆分，名词、动词、形容词、副词、介词的定性，多种词意的选择。比如DIAMOND，有菱形、棒球场、钻石3个含义，要根据应用选择正确的意思。3.语法分析：通过语法树或其他算法，分析主语、谓语、宾语、定语、状语、补语等句子元素。

传统的RNN

Edwin Chen在介绍条件随机场的博文中，通过一个有趣的问题，引入条件随机场序列标注问题，我们这里不妨拿过来直接用一下：       假设你有一组关于 Justin Bieber的日常生活照（你可以想像成Bieber是个自拍狂，经常在朋友圈晒自拍），你想标注一下这些照片描绘的活动场景(比如Bieber是在吃饭、参加舞会、开车，还是在睡觉呢),你会怎么做呢？       一种方法是不考虑

序列标注问题应该说是自然语言处理中最常见的问题，而且很可能是最而没有之一。在深度学习没有广泛渗透到各个应用领域之前，传统的最常用的解决序列标注问题的方案是最大熵、CRF等模型，尤其是CRF，基本是最主流的方法。随着深度学习的不断探索和发展，很可能RNN模型会取代CRF的传统霸主地位，会成为解决序列标注问题的标配解决方案。本文主要抽象出利用RNN解决序列标注问题的通用优化思路。这

1 相关背景维基百科对自动摘要生成的定义是, “使用计算机程序对一段文本进行处理, 生成一段长度被压缩的摘要, 并且这个摘要能保留原始文本的大部分重要信息”. 摘要生成算法主要分为抽取型(Extraction-based)和概括型(Abstraction-based)两类. 传统的摘要生成系统大部分都是抽取型的, 这类方法从给定的文章中, 抽取关键的句子或者短语, 并重新拼接成一小段摘要,

1. RNN基础对于RNN，我看到讲得最通俗易懂的应该是Andrej发的博客： The Unreasonable Effectiveness of Recurrent Neural Networks这里有它的中文翻译版本： 递归神经网络不可思议的有效性如果想了解 LSTM 的原理，可以参考这篇文章：（译）理解 LSTM 网络 （Understanding LST

在拿到一个大规模数据集时，我们不可能对这么多的问题进行注意打上标记（label），因为这个是非常耗时的。而且，我们还知道文本问题是一个典型的多标记问题，这个时候打上的标记很多的时候都不会特别的精确，也就是我们通常说的弱标记weak label. 这个时候我们就需要一个聚类的方法，这样可以先把所有的文本集聚类成几个簇，每个簇的标记相似性就比较大，这样以来对打上标记的工作就减轻了许多精力。 

要是关注深度学习在自然语言处理方面的研究进展，我相信你一定听说过Attention Model（后文有时会简称AM模型）这个词。AM模型应该说是过去一年来NLP领域中的重要进展之一，在很多场景被证明有效。听起来AM很高大上，其实它的基本思想是相当直观简洁的。本文作者可以对灯发誓：在你读完这篇啰里啰嗦的文章及其后续文章后，一定可以透彻了解AM到底是什么，以及轻易看懂任何有关论文看上去复杂的数学公

转载自https://zhuanlan.zhihu.com/p/25928551近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目，恰好硕士毕业时论文题目便是文本分类问题，趁此机会总结下文本分类领域特别是应用深度学习解决文本分类的相关的思路、做法和部分实践的经验。业务问题描述：淘宝商品的一个典型的例子见下图，图中商品的标题是“夏装雪纺条纹短袖t恤女春半袖衣服夏

转载自http://www.17bigdata.com/97-5%E5%87%86%E7%A1%AE%E7%8E%87%E7%9A%84%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%EF%BC%88%E5%AD%97%E5%B5%8C%E5%85%A5bi-lstmcrf%EF%BC%89.html

转载自http://blog.youkuaiyun.com/rxt2012kc/article/details/737423621.摘要文本分类是NLP的一项重要的基础任务。传统的文本分类需要特征工程，需要人类参与。而深度学习能够自动提取特征不需要人的参与。本文采用周期循环神经网络比卷积神经网络能够更加减少噪声，利用最大池化层选取一句话中最重要的特征。2.Introduction

知识点文本检索常用的评价指标：MAP、nDCG、ERR、F-score/F-measure以及附加的Precision、Recall、AveP、CG、DCG、IDCG、MRR、cascade models而ROC曲线及其度量指标AUC主要用于分类和识别一，MAPPrecision(P)：准确率(精确度)是指检索得到的文档中相关文档所占的比例，公式如下： 

摘要： 纵观自动问答系统的技术发展历史，从1950年代因图灵测试而诞生至今，已经有几十年的历史。但真正在产业界得到大家的广泛关注，则得益于2011年Siri和Watson成功所带来的示范效应。自此，自动问答系统较以往任何时候都显得离实际应用更近。这一方面归功于机器学习与自然语言处理技术的长足进步，另一方面得作者：周小强 陈清财 曾华军1引言纵观自动问答系统的

基于深度学习智能问答笔记自动问答系统的两个主要难题是：1.问句的真实意图分析。2.问句与答案之间的匹配关系判别。问答系统可分为面向限定域的问答系统，面向开放域的问答系统，面向常用问题集（FAQ）的问答系统。依据答案的不同数据来源，问答系统可以划分为基于结构化数据问答系统，基于问答对的问答系统。按照答案生成反馈机制划分，问答系统可以划分为基于检索式的问答系统和基于生成式的问答系统。基

1  信息熵以及引出条件熵我们首先知道信息熵是考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。公式如下：我们的条件熵的定义是：定义为X给定条件下，Y的条件概率分布的熵对X的数学期望这个还是比较抽象，下面我们解释一下：设有随机变量（X,Y），其联合概率分布为 

有两种思路：采用ad-hoc检索方式1.首先获取原有的数据集qa-pairs2.用户提出的问题，进行预处理后，先从数据集中获取，相关的10个预选答案，可以采用Lucene全文检索方法。3.之后采用深度文本匹配模型（drmm），从10个预选答案中选出分数最高的答案作为最终的答案。参考：https://www.chedong.com/tech/lucene.htmlA

转载自：https://www.cnblogs.com/qniguoym/p/7772561.html在NLP领域，语义相似度的计算一直是个难题：搜索场景下query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。本文通过介绍DSSM、CNN-DSSM、LSTM-DSSM等深度学习模型在计算语义相似度上的应用，希望给读者带来帮

语义匹配工业界的很多应用都有在语义上衡量本文相似度的需求，我们将这类需求统称为“语义匹配”。根据文本长度的不同，语义匹配可以细分为三类：短文本-短文本语义匹配，短文本-长文本语义匹配和长文本-长文本语义匹配。基于主题模型的语义匹配通常作为经典文本匹配技术的补充，而不是取代传统的文本匹配技术。短文本-短文本语义匹配短文本-短文本的语义匹配在工业界的应用场景非常广泛。例如，在网

最近，learning to rank 的思想逐渐被应用到很多领域，比如google用来做人脸识别（faceNet），微软Jingdong Wang 用来做 person-reid 等等。learning to rank中其中重要的一个步骤就是找到一个好的similarity function，而triplet loss是用的非常广泛的一种。【理解triplet】如上图所示，triplet...