kwame211的博客

情感分析互联网上有大量的文本信息，这些信息想要表达的内容是五花八门的，但是他们抒发的情感是一致的：正面/积极的 – 负面/消极的。通过情感分析，可以快速了解用户的舆情情况。聊天机器人过去只有 Siri、小冰这些机器人，大家使用的动力并不强，只是当做一个娱乐的方式。但是最近几年智能音箱的快速发展让大家感受到了聊天机器人的价值。而且未来随着智能家居，智能汽车的发展，聊天机器人会有更大的使用价值。语音识别语音识别已经成为了全民级的引用，微信里可以语音转文字，汽车中使用导航可以直

Bert 给人们带来了大惊喜，不过转眼过去大约半年时间了，这半年来，陆续出现了与 Bert 相关的不少新工作。最近几个月，在主业做推荐算法之外的时间，我其实一直比较好奇下面两个问题：问题一：Bert 原始的论文证明了：在 GLUE 这种综合的 NLP 数据集合下，Bert 预训练对几乎所有类型的 NLP 任务（生成模型除外）都有明显促进作用。但是，毕竟 GLUE 的各种任务有一定比例的数据...

从0到1了解模型的优缺点从现在的大趋势来看，使用某种模型预训练一个语言模型看起来是一种比较靠谱的方法。从之前AI2的 ELMo，到 OpenAI的fine-tune transformer，再到Google的这个BERT，全都是对预训练的语言模型的应用。BERT这个模型与其它两个不同的是：1、它在训练双向语言模型时以减小的概率把少量的词替成了Mask或者另一个随机的词。这个目的在于使模...

bert模型是Google在2018年10月发布的语言表示模型，Bert在NLP领域横扫了11项任务的最优结果，可以说是现今最近NLP中最重要的突破。Bert模型的全称是Bidirectional Encoder Representations from Transformers，是通过训练Masked Language Model和预测下一句任务得到的模型。关于Bert具体训练的细节和更多的原理...

一个神经网络结构通常包含输入层、隐藏层、输出层。输入层是我们的 features (特征)，输出层是我们的预测 (prediction)。神经网络的目的是拟合一个函数 f：features -> prediction。在训练期间，通过减小 prediction 和实际 label 的差异的这种方式，来更改网络参数，使当前的网络能逼近于理想的函数 f。神经元(Neural Cell)神...

本文主体部分分为四部分，第一部分简介，对BERT模型进行一个简要概述。第二部分介绍BERT模型的结构，BERT模型在结构上的创新不大，利用的主要是Transformer，以及把OpenAI GPT模型的单向Transformer改为了双向，本文不对Transformer结构进行介绍。第三部分介绍预训练，这是本文的重点，也是BERT模型的重点，以及Google关于BERT模型的paper的最大创新点...

BERT (Bidirectional Encoder Representations from Transformers)10月11日，Google AI Language 发布了论文BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding提出的 BERT 模型在 11 个 NLP...

智能语音助手的工作原理是？先了解自然语言处理(NLP)与自然语言生成(NLG)语音助手越来越像人类了，与人类之间的交流不再是简单的你问我答，不少语音助手甚至能和人类进行深度交谈。在交流的背后，离不开自然语言处理（NLP）和自然语言生成（NLG）这两种基础技术。机器学习的这两个分支使得语音助手能够将人类语言转换为计算机命令，反之亦然。这两种技术有什么差异？工作原理是什么？NLP vs NL...

2013年，Google开源了一款用于词向量计算的工具——word2vec，引起了工业界和学术界的关注。首先，word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练；其次，该工具得到的训练结果——词向量（word embedding），可以很好地度量词与词之间的相似性。随着深度学习（Deep Learning）在自然语言处理中应用的普及，很多人误以为word2vec是一种深度学习算法...

LDA（Latent Dirichlet Allocation）是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布，主题到词服从多项式分布。[1]LDA是一种非监督机器学习技术，可以用来识别大规模文...

环境：ubuntu 16.04主要是运行github项目https://github.com/zqhZY/_rasa_chatbot，用来回答一些手机通信业务，项目里面有训练集。如有问题，期待大家指正，非常感谢！1.Rasa介绍rasa是开源的工具，包括rasa core和rasa nlu。官网：https://rasa.com/rasa nlu主要用于用户意图识别和实体识别...

自然语言处理，英文Natural Language Processing，简写NLP。NLP这个概念本身过于庞大，很难通过简短的几句定义就能明白它是什么。不妨把它分成“自然语言”和“处理”两部分。先来看自然语言。区分于计算机语言，自然语言是人类发展过程中形成的一种信息交流的方式，包括口语及书面语，反映了人类的思维。简单的一句问候“你好”，以及正在看的这篇，都是以自然语言的形式表达。现在世界上所有的...