柳杰的博客

文章目录引言一、ELMO1.ELMO预训练后的使用2.ELMO的优点与缺点3.ELMO把三种不同的向量叠加的意义二、GPT1.GPT缺点（与Bert相比）三、Bert四、总结引言  预训练模型在NLP下游任务上非常重要。一、ELMO  ELMO是"Embedding from Language Model"的简称，论文是《Deep Contextualized Word Representation》。在ELMO之前，word embedding 本质上是静态的表示方式，也就是在词向量训练之后每个单

文章目录  在Transformer的代码实现的基础上，采用机器翻译数据，进行基于Transformer的机器翻译实战—数据集代码链接。如果对您有帮助，麻烦点赞关注，这真的对我很重要！！！如果需要互关，请评论或者私信！...

文章目录引言一、准备工作二、背景介绍三、模型结构1.Encoder-Decoder结构2.Encoder and Decoder Stacks2.1 Encoder2.2 decoder3.Attention3.1self-attention3.2 Multi-Head Attention3.3 Attention在模型中的应用4.Feed-Forward5.Embeddings5.1 Positional Encoding6.完整模型四、模型训练五、Example引言  Transformer是如今几

文章目录引言一、Structure of Transformers二、Encoder Structure三、Self-attention and multi-head self-attention1.Self-attention2.multi-head self-attention四、Residuals , Add and Layer-Normalization五、Decoder structure of Transformer六、Mask self-attention七、 Encoder-decoder

文章目录一、WMD流程简述二、算法的数学描述三、算法优化1.WCD low bound(词心距离)2. RWMD low bound(松弛WMD距离)3.剪枝四、优缺点五、代码实现六、应用场景From Word Embeddings To Document Distances一、WMD流程简述  WMD为衡量文本相似度的方法。使用WMD来计算两个文本D1,D2之间的相似度，计算流程如下：首先对两个文本去除停用词使用归一化BOW(词袋模型)方法来分别表示D1,D2使用word2vec e

文章目录引言一、rank 评估指标—MAP、NDCG二、Point-wise/Pair-wise/List-wise三、RF/GBDT/svm ranking四、RankNet五、LambdaRank/LambdaMART六、Context free Grammar七、CKY算法引言  在前面几部分我们学习了检索式对话系统的召回（recall），召回可以从海量数据中快速找到相似的Top K文本？一种是基于字符串的召回，比如:BM25+倒排索引；另一种是基于向量的召回，比如：HNSW、Annoy、SIF。

文章目录引言一、Annoy1.Annoy实战二、HNSW三、KD tree1.Annoy与KD Tree比较四、Dialog Management（任务型多轮对话）引言  Annoy、HNSW、KD tree在工业界非常常用一、Annoy  Annoy:Approximate Nearest Neighbors Oh Yeah。Annoy 是 Spotify 开源的高维空间求近似最近邻的库，在 Spotify使用它进行音乐推荐。 Annoy通过将海量数据建立成一个二叉树来使得每个数据查找时间复杂度是

文章目录一、Smooth Inverse Frequency（SIF）二、BM251.bm25源码实现三、基于BM25、tfidf和SIF的检索系统代码实现基于BM25、tfidf和SIF的检索系统实现数据集与代码链接一、Smooth Inverse Frequency（SIF）  Smooth Inverse Frequency是一种基于向量的检索。在介绍SIF前，需要先理解平均词向量与TFIDF加权平均词向量。平均词向量就是将句子中所有词的word embedding相加取平均，得到的

文章目录一、对话系统概述二、对话系统的分类及其对应得解决方案三、检索及倒排索引四、召回及重排五、倒排索引的空间优化方法—Variable Byte Compression六、倒排索引搜索算法—Weak and（WAND）七、检索系统的评价指标一、对话系统概述  对话系统在电商、银行等业务场景中应用很广。从框架方面，对话系统可以分为问答系统与多轮对话系统。二、对话系统的分类及其对应得解决方案  对话系统的分类如下：闲聊式对话系统目前，市面上闲聊机器人的解决方案baseline是基于seq2s

文章目录一、多模态简介1.什么是多模态？2.多模态的技术点及典型应用二、在文本分类和文本生成中的应用一、多模态简介1.什么是多模态？  我们生活中的多模态指的是文字、文本、语音信号、图片信息、视频信息等这些模态以及更广泛的触觉、嗅觉等这些信号区都可以算作一种模态。目前在人工智能领域的多模态交互一般集中在文本、图像、视频、音频等信号的结合上面。  多模态学习(MMML)，旨在通过机器学习的方法实现处理和理解多源模态信息的能力。目前比 较热门的研究方向是图像、视频、音频、语义之间的多模态学习。2.多模

文章目录一、为什么使用Pointer Network？二、Pointer Network的结构1.Pointer Network网络如何解决OOV问题三、如何通过结合Pointer Network处理语言生成?一、为什么使用Pointer Network？  传统的seq2seq模型是无法解决输出序列的词汇表会随着输入序列长度的改变而改变的问题的（解空间固定）。Pointer Network可以通过给输入序列的元素予一个指针，从而使得解空间不固定，可以解决OOV问题。总结来说，传统的seq2seq模型会

文章目录引言一、Seq2eq+Attention于机器翻译中的原理以及及attention的计算二、评价指标bleu1.bleu指标实现2.nltk中的bleu三、基于Seq2eq+Attention的机器翻译实战引言  利用PyTorch实现Seq2eq+Attention的模型，并且利用bleu评价指标评价语言生成的好坏。一、Seq2eq+Attention于机器翻译中的原理以及及attention的计算  在机器翻译中，输入是A语言，输出是B语言，A语言是Encoder的输入，B语言是Deco

文章目录引言一、文本生成任务二、Seq2Seq讲解1.Seq2Seq模型存在问题三、Beam Search四、Seq2Seq+Attention机制引言  Seq2Seq模型用于文本生成。在这个模型基础上，加上Attention机制可以使得模型效果更好。一、文本生成任务  常见的文本生成任务有以下几种：Machine Translation（机器翻译）不同语言之间的转换Summarization（自动生成摘要）有两种方法论：抽取式摘要生成将原始文本中关键的句子、短语、关键单词抽

文章目录一、文本情感分析简介二、文本情感分类任务1.基于情感词典的方法2.基于机器学习的方法三、PyTorch中LSTM介绍]四、基于PyTorch与LSTM的情感分类流程这节理论部分传送门：NLP学习—10.循环神经网络RNN及其变体LSTM、GRU、双向LSTM一、文本情感分析简介  利用算法来分析提取文本中表达的情感。 分析一个句子表达的好、中、坏等判断，高兴、悲伤、愤怒等情绪。如果能将这种文字转为情感的操作让计算机自动完成，就节省了大量的时间。对于目前的海量文本数据来说，这是很有必要

文章目录一、为什么需要循环神经网络？二、RNN的原理三、RNN的类型四、RNN存在的问题五、LSTM/GRU六、Gated Recurrent Unit—GRU七、BI-LSTM八、Deep-BILSTM一、为什么需要循环神经网络？  虽然全连接神经网络理论上只要训练数据足够，给定特定的x，就能得到希望的y，但是全连接神经网络只能处理独立的输入，前一个输入和后一个输入是完全没有关系的。针对某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的情况，此时，就需要用到循环神经网络RNN，该

文章目录引言一、项目的描述与目标二、项目框架三、文本预处理与特征工程1. 文本预处理2. 特征工程2.1 基于词向量的特征工程2.2 基于人工定义的特征四、三个任务1.project12.project23. project3项目环境配置如下：jieba 0.42.1lightgbm 3.2.1scikit-learn 0.24.2scikit-multilearn 0.2.0gensim 3.8.3引言  “看病慢看病难”早已成为当今社会的常见现象，因此随着技术的发展，Al+医疗是

一、Resent网络理论部分    2015年，He等人采用残差网络（Residual Networks，ResNet）来解决梯度消失的问题。ResNet的主要特点是跨层连接，它通过引入捷径连接技术（shortcut connections）将输入跨层传递并与卷积的结果相加。在ResNet中只有一个池化层，它连接在最后一个卷积层后面。ResNet使得底层的网络能够得到充分训练，准确率也随着深度的加深而得到显著提升。将深度为152层的ResNet用于LSVRC-15的图像分类比赛中，它获得了第1名的成绩。在

文章目录一、Flask二、Docker一、Flask  Flask起到模型封装的作用。做一个新的项目时，可以构建一个新的虚拟环境，构建虚拟环境的优点是：将该项目中独特使用的包构建在特定的环境中。下面总结一些conda命令# 查看虚拟环境conda env list# 进入虚拟环境conda activate 虚拟环境名# 退出虚拟环境conda deactivate# 安装Flaskpip install Flask  下面以一个实例来理解Flask，代码框架如下：其中，

文章目录引言一、卷积神经网络概述二、卷积神经网络的结构1.卷积层1.1 Padding1.2 Stride1.3 多通道计算2.池化层三、卷积神经网络公式推导1.卷积层中的梯度计算2.max pooling中的梯度计算四、PyTorch中的卷积层引言  CNN能够提取图片或者文本中的特征。深度学习模型与传统的机器学习模型相比，会帮助我们自动提取特征。这个特征是不可解释的。CNN在自然语言处理当中，可以应用到Seq2Seq框架中的encoder部分。CNN既可以用于NLG，也可以用于NLU。一、卷积神经

文章目录一、数据不平衡问题二、常见处理方法1.数据相关处理1.1 欠采样1.2 过采样2.模型相关处理2.1 模型算法 – Cost Sensitive算法2.2 模型算法 – MetaCost算法2.3 模型算法 – Focal Loss3.评价指标相关处理三、自然语言处理中的数据增强一、数据不平衡问题  所谓的数据不平衡指的是不同类别的样本量差异非常大，或者少数样本代表了业务的关键数据(少量样本更重要)，需要对少量样本的模式进行很好的学习。样本类别分布不平衡主要出现在分类相关的建模问题上。 样本类别

文章目录一、储备知识1. 语言模型的概念2. 语言模型的发展3.语言模型的平滑操作4. 语言模型的评价指标二、研究背景1. 词的表示方式三、研究意义四、论文精读一1. 摘要核心2.Introduction-介绍3. 对比模型3.1 前馈神经网络语言模型（NNLM）3.2 循环神经网络语言模型（RNNLM）4.word2vec模型的两种模型架构4.1 Skip-gram4.2 CBOW4.3 关键技术5.实验结果5.1 与对比模型的直接对比实验5.2不同参数下的实验5.3 不同模型的效率分析一、储备知识1

文章目录1.研究步骤2.阅读论文关注点3.论文组成4.论文获取渠道1.研究步骤阅读方向综述和核心学者论文，对方向有深刻理解跟踪方向最新研究，提出创新点2.阅读论文关注点这个paper解决了什么问题？这个paper在哪个领域？这个paper在这个领域的地位，解决了哪些历史问题3.论文组成摘要—Abstract这篇文章做了什么事，得到了什么结果介绍—Introduction对过去进行总结，再最后一部分，介绍改进了什么，取得了什么成果模型—Model涉及到一些基础概念，并对自

文章目录一、文本特征工程二、工具使用1.一、文本特征工程  在深度学习中，不需要主动进行特征工程。但是在传统的机器学习中，需要主动进行特征工程。常见的文本特征工程手段有tf-idfword2vecN-gramPOS词性LDA主题特征特殊任务特征诸如：单词计数（word counts）、大写有多少个、是否有人名、字符的长度  在进行下游任务时，我们有很多特征可以使用，我们应该怎么组合在一起呢？我们可以将这些feature拼接在一起，特征串变成一个向量，这个向量用于模型训练。二、工具使

文章目录一、语言模型1. 如何评价语言模型的好坏？2. 语言模型的平滑概念3.语言模型在拼写纠错中的应用3.1 如何解决错别字错误？二、文本表示1. 词集模型—onthot编码2.词袋模型—Bag of Words3.Word2Vec—词嵌入模型一、语言模型  语言模型可以说是自然语言处理中最重要的模型。语言模型可以看做是一个函数，用于计算一个句子出现的概率，即语言模型可以判断某一句话从语法上是否通顺（是不是人话），从语义上是否有歧义。在很多时候，我们都要度量一句话的出现概率，一句话的出现概率等同于一句

文章目录一、自然语言处理基础任务二、自然语言处理应用一、自然语言处理基础任务  自然语言处理中包含以下基础任务：分词-word segmentationJieba分词SnowNLPLTPHanNLP词性标注-POS  句子中的每个单词被分类为一种词性，如动词，名词等，词性标注的过程依赖当前单词以及上下文信息，词性标注问题即序列标注问题。序列标注问题可以当做分类问题，一方面，可以对于当前单词以及上下文单词(sliding window)提取特征，并用这些特征做分类；另一方面，利用序列