文献分享 |【文本表征系列】句子分布式嵌入向量的动态总结

最新推荐文章于 2023-08-23 14:47:29 发布
原创 最新推荐文章于 2023-08-23 14:47:29 发布
· 2.2k 阅读 · 3 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文回顾了2015年至2018年间关于句子分布式嵌入向量的典型文献，涵盖无监督方法（如词向量均值组合和神经网络编码器）以及有监督方法（依赖下游NLP任务）。通过对比不同方法的步骤和效果，为句向量学习提供参考。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

作者：王小草

背景介绍

最近对句子的分布式嵌入向量做了些许调研，前程往事自不必多提，未来之事也无需多虑，本文只聚焦于2015年-2018年最近4年最为典型的文献予以介绍和推荐，若读者在工作中有接触和应用更好的方法，跪求您给我留言建议哦，不胜感激。

词嵌入或词表征，是用具有语义相似性的向量来表征自然语言中的词语。以此类推，句子嵌入或句子表征，就是用向量来表征自然语言中的句子，使得向量中携带着句子的语义信息，从而可以被计算机计算和使用。词句披上表征自己含义的向量，游刃于计算机，如同灵魂裹在相由心生的皮囊来往于人世间。

可以将句字嵌入向量的方法分成3大类：
1.无监督-对预训练好词向量进行均值组合得到句向量（本文介绍4篇文献）
2.无监督-对预训练好的词向量通过神经网络编码器得到句向量（本文介绍2篇文献）
3.有监督-对预训练好的词向量通过神经网络编码器+下游有监督的NLP任务进行联合训练得到能产出句向量的编码器（本文介绍2篇文献）

类别一：无监督–对词向量进行均值组合得到句向量

该类别的套路是，先预训练好词向量（一般使用CBOW,Skip-gram,Glove3类经典的方法）；然后通过对句子中词的词向量求对应维度上的均值得到相同维度的句向量。直接求算数平均是最基本最简单最粗暴的方法，效果也是不差的，但也总有可以进步的地方，于是下面要介绍的3篇文献都是对如何求均值做了些许改进，从而提高了句向量的质量。

文献一

题目: Siamese CBOW: Optimizing Word Embeddings for Sentence Representations
作者: Tom Kenter1 Alexey Borisov1, 2 Maarten de Rijke1
机构: University of Amsterdam， Yandex, Moscow
时间: 2016
源码: https://bitbucket.org/TomKenter/siamese-cbow.

该文提出Siamese Continuous Bag of Words (Siamese CBOW)模型，一种求sentence embedding的高效神经网络。它对已经训练好的word embedding进行fine tunning,使得利用优化后的词向量通过求均值生成的句向量能有更好的效果。

步骤：

1.预训练好词向量

2.构建神经网络（如下图）
输入：一个source sentence
输出：两个上下文 sentence， 两个nagtive sentence

(1)输入source sentence中的每个词
(2)在预训练的词嵌入矩阵中得到每个词的词向量
(3)将每个词的词向量求均值，表征句子向量
(4)句子向量输入cosine simirayty层，分别计算source sentence和输出层中的4个sentence的余弦相似度
(5)然后进入softmax层，计算概率分布

image_1cku722id1slh392cr117aa9is4f.png-82.1kB

3.通过以上训练得到了新的词向量，用该词向量去求均值计算句向量。

效果：

作者拿word2vec skipgram, word2vec CBOW, skip-thought3者作为basline来和本文提出的模型在20个数据集上作比较，大部分情况下本文的Siamese CBOW模型取得了最好的效果。

文献二

题目:

最低0.47元/天 解锁文章
句向量（句嵌入）模型sent2vec的训练及应用
白马负金羁
07-28 1万+
本文讨论NLP中的句向量模型（sent2vec），也就是将一个完整的句子映射成一个实数向量的技术。这方面已经发表的成果也是比较多的，本文中所涉及的技术主要源自NAACL 2018的一篇论文，其中提出的sent2vec模型可以理解为词嵌入技术中经典的CBOW方法的扩展，该所谓的扩展中一个重要改进就是引入了n-gram
NLP：Word Embedding词嵌入/word2vec词向量思想方法(一种主流的分布式表示)的简介(词向量VS词嵌入等)、使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-12 2111
​ NLP：Word Embedding词嵌入/word2vec词向量思想方法(一种主流的分布式表示)的简介(词向量VS词嵌入等)、使用方法、案例应用之详细攻略 目录 词嵌入(一种主流的分布式表示)的简介 词嵌入的使用方法 词嵌入的案例应用 推荐文章 NLP之NNLM：NNLM算法(词向量法的始祖)的简介、网络结构、案例应用之详细攻略 NLP：Word Embedding词嵌入/word2vec词向量思想方法(一种主流的分布式表示)的简介、使用方法、案例应用之详细攻略
怎么理解DAN，deep averaging network 模型
miemasha8413的博客
06-06 5703
想看更多有关人工智能、机器学习、自然语言处理、计算机视觉的相关内容，可以关注我们的悟空问答的“ICMLL实验室”
sent2vec教程
诸神缄默不语的博客
06-27 2128
sent2vec是用于无监督学习词、短文本、句的Python包。本文是sent2vec的简易教程，包括安装教程和简单的使用方法。文中使用英语文本作为示例。
Deep Learning Based Text Classification (文本分类综述)
徐先森的博客
06-27 2249
Deep Learning Based TextClassification: AComprehensiveReview 论文来源：https://arxiv.org/abs/2004.03705 1. 前言 文本分类是NLP中一个非常经典任务（对给定的句子、查询、段落或者文档打上相应的类别标签）。其应用包括机器问答、垃圾邮件识别、情感分析、新闻分类、用户意图识别等。文本数据的来源也十分的广泛，比如网页数据、邮件内容、聊天记录、社交媒体、用户评论等。文本是是极其丰富的信息载体，然而由于文本的非结构化特
将句子表示为向量（上）：无监督句子表示学习（sentence embedding）
weixin_30610755的博客
01-30 1309
1. 引言 word embedding技术如word2vec，glove等已经广泛应用于NLP，极大地推动了NLP的发展。既然词可以embedding，句子也应该可以（其实，万物皆可embedding，Embedding is All You Need ^_^）。近年来（2014-2018），许多研究者在研究如何进行句子表示学习，从而获得质量较高的句子向量（sentence embedding）...
文本向量化
08-23 1210
词嵌入是一种表示单词的方法，它将词汇表中的每个单词表示为一个普通的向量。不同于传统的只包含0和1的One-Hot向量，词嵌入向量是一串普通的数字。这样的向量将单词嵌入到一个数学空间中，因此称为"词嵌入"。● 如何进行词嵌入？要进行词嵌入，我们需要通过神经网络进行训练，训练得到的网络权重形成的向量就是我们最终需要的词向量。● 词汇表征和语言模型自然语言处理的核心是建立语言模型，从深度学习的角度来看，我们可以将自然语言处理的语言模型视为一个监督学习问题。
基于词分布式表征的汉语框架排歧模型.pdf
08-09
本文档探讨了基于词分布式表征的汉语框架排歧模型，具体而言，文章提出了一个框架排歧模型，该模型基于词和句子的分布式表征。排歧模型的目的是从现有的框架库中为一个目标词分配一个合适的框架，以解决多义动词问题...
跟我一起学PyTorch-07：嵌入与表征学习
u011436316的博客
08-13 2790
前面介绍了深度神经网络和卷积神经网络，这些神经网络有个特点：输入的向量越大，训练得到的模型越大。但是，拥有大量参数模型的代价是昂贵的，它需要大量的数据进行训练，否则由于缺少足够的训练数据，就可能出现过拟合的问题。尽管卷积神经网络能够在不损失模型性能的情况下减少模型参数，但是仍然需要大量带有标签的数据进行训练。半监督学习通过进一步学习未标签数据来解决这个问题，具体思路是：从未标签数据上学习数据的表征，用这些表征来解决监督学习问题。
Learning Distributed Representations of Sentences from...
weixin_33966095的博客
08-01 199
sentence representation的文章已经分享了几篇，包括了supervise和unsupervise的方法，但并没有对各种model进行系统地对比和分析，今天分享的这篇文章对现有各种各样的distributed representations of sentences model进行了分类、对比和分析，为了增强对比效果，还提出了两种虚拟的...
Matlab神经网络十讲(3): Deep Networks / CNN
沈春旭的博客
01-31 5500
1. What is deep learning? Deep learning is a branch of machine learning that teaches computers to do what comes naturally to humans: learn from experience. Machine learning algorithms use computat
深度强化学习Deep Q-Network（DQN）玩CartPole游戏源码运行笔记（Pinard版本）
越野者的博客
03-24 1663
1. 运行环境介绍 NVIDIA GTX 1070 Ubuntu 16.04 x64 CUDA 8.0.61 cuDNN 5.1 Python 3.4 TensorFlow 1.2.0 OpenCV 3.1.0 for Python3.4（opencv-3.1.0-np111py34_1.tar.bz2） gym（gym-0.12.0.tar.gz） 2. 准备 下载源码（单文件源码）并存放...
一张图看懂深度神经网络（Deep Neural Network）
思我所
02-18 1万+
首先构造出线性分类器，再将线性分类器组合成非线性分类器，然后还可将非线性分类器组和成更为复杂的非线性分类器。其中线性分类的核心就是用S函数将偏差转换为概率，再以交叉熵来量化分类的好坏，然后最小化交叉熵来实现分类（S函数只是激活函数的一种）。 ...
深度学习方法（十）：卷积神经网络结构变化——Maxout Networks，Network In Network，Global Average Pooling...
weixin_30793643的博客
03-11 718
欢迎转载，转载请注明：本文出自Bin的专栏blog.youkuaiyun.com/xbinworld。 技术交流QQ群：433250724，欢迎对算法、技术感兴趣的同学加入。 最近接下来几篇博文会回到神经网络结构的讨论上来，前面我在“深度学习方法（五）：卷积神经网络CNN经典模型整理Lenet，Alexnet，Googlenet，VGG，Deep Residual Learning...
论文阅读：EmbedRank: Unsupervised Keyphrase Extraction using Sentence Embeddings
u014435314的专栏
07-26 3158
问题： 现有的关键词抽取系统普遍存在的问题包括：1）complex and slow 2）over-generation (i.e. extracting redundant keyphrases) 资源： 1. 代码 https://github.com/swisscom/ai-research-keyphrase-extraction 相关工作： 1. Unsupervised...
ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding
myl1992的专栏
04-15 1098
ESimCSE：用于无监督句子嵌入对比学习的增强样本构建方法 Xing Wu 1,2,3 , Chaochen Gao 1,2 ∗ , Liangjun Zang 1 , Jizhong Han 1 , Zhongyuan Wang 3 , Songlin Hu 1,2 1 Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China 2 School of Cyber Security, Universi
NAACL 2018 ACCEPTED PAPER
AI小白入门的博客
10-02 8046
COLING 2018 接受论文列表地https://naacl2018.wordpress.com/2018/03/02/list-of-accepted-papers/ 详细如下： A BI-MODEL BASED RNN SEMANTIC FRAME PARSING MODEL FOR INTENT DETECTION AND SLOT FILLING Yu Wang, Yilin Shen...
微软句向量工具包Sent2vec
热门推荐
自然语言处理大菜鸟--HsingWang
05-13 1万+
工具包地址：http://research.microsoft.com/en-us/downloads/731572aa-98e4-4c50-b99d-ae3f0c9562b9/default.aspx Slides：http://emnlp2014.org/material/presentation-EMNLP2014002.pdf 源自：http://wei
自然语言处理（NLP）：23 Word2Vec词向量研究以及实践
艾文
07-14 6002
本文主要同大家分享word2vec原理以及应用，通过文本相似度和新闻文本分类为案例进行展开，最后对词向量技术发展进行简述。
既有的文本嵌入向量库
最新发布
02-15
### 现有文本嵌入向量库 #### 一、预训练词嵌入模型 存在多种流行的预训练词嵌入模型，这些模型利用大规模语料库进行了训练，可以捕捉词语间的复杂语义关系。 - **Word2Vec**：由Google开发的一种高效算法，通过预测给定单词周围的上下文来学习高质量的分布式词汇表征[^1]。它有两种主要架构——连续词袋(CBOW)和跳字(Skip-Gram)，其中后者更擅长于处理罕见词。 - **GloVe (Global Vectors)**：斯坦福大学提出的另一种流行方案，基于全局共现统计信息构建低维实数向量空间，在这个过程中保持了线性子结构特性。相比Word2Vec而言，GloVe倾向于提供更加稳定的性能表现。 这两种方法都属于静态词嵌入技术范畴，即无论环境如何变化，同一个词总是映射到相同的向量上[^3]。 ```python from gensim.models import KeyedVectors # 加载预先训练好的 Google News Word2Vec 模型 word_vectors = KeyedVectors.load_word2vec_format('path_to_model/GoogleNews-vectors-negative300.bin', binary=True) # 获取 "king" 的词向量 vector_king = word_vectors['king'] print(vector_king.shape) ``` #### 二、上下文化词嵌入模型 近年来兴起了一种新的范式—上下文化的词嵌入(contextualized embeddings), 它们能够根据具体的使用场景动态调整同一词汇的不同含义表示形式。 - **ELMo (Embeddings from Language Models)**：首次引入了双向LSTM网络用于生成具有方向性的字符级特征序列，并将其拼接起来形成最终的词级别表达。这种方法允许不同位置上的相同单词拥有不同的内部状态转移路径，从而更好地反映了自然语言的真实情况。 - **BERT (Bidirectional Encoder Representations from Transformers)**：采用Transformer编码器堆叠而成的强大框架，实现了真正意义上的双向注意力机制，使得每一个token都能充分感知其前后依赖关系。此外，由于采用了掩码语言建模(masked language modeling, MLM)任务作为辅助目标函数之一，因此即使面对未见过的新颖组合也能给出合理的推测结果。 对于上述提到的各种类型的文本嵌入工具包来说，通常都会配套相应的API接口供开发者调用，比如`transformers`库就支持一键加载官方发布的多版本BERT权重文件并执行推理操作： ```python from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') text = 'Here is some text to encode.' encoded_input = tokenizer(text, return_tensors='pt') output = model(**encoded_input)[0] print(output.size()) # 输出维度应为 [batch_size=1, sequence_length, hidden_dim=768] ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值