使用Word Embedding构造文本摘要系

最新推荐文章于 2025-05-13 17:24:08 发布
最新推荐文章于 2025-05-13 17:24:08 发布
阅读量1.9k 收藏 1
点赞数 1
分类专栏： 机器学习 文章标签： word embedding 文本摘要 word2vector 词嵌入

文本摘要是在信息泛滥的时代非常重要的工具，可以帮助用户快速判断文章内容主旨，并以此决定是否值得细看文章内容。

本文介绍下我们在2014年底2015年初时，使用WordEmbedding思想来构造文本摘要的一些思路，其中包括一种异常简单的文本摘要实现思路，实验效果证明这种方法虽然简单，可能比传统的TFIDF方法还要简单，但是效果与比较复杂的方法是相当的。

这里介绍我们做的其中两种方法，一种是非常简单的根据字Word Embedding直接叠加方式做摘要系统，另外一种是对HITS经过。

WordEmbedding改造的文本摘要思路

|基于字WordEmbedding叠加的简洁文本摘要系统

首先，我们可以使用Word2Vec等工具获得汉字的Word Embedding。然后对于某个文档进行分句，对于每个句子使用单字的Word Embedding直接累加获得句子的Word Embedding表示；

然后，把每个句子的WordEmbedding直接累加获得整个文档的Word Embedding。如图1所示，这样文档和句子都以Word Embedding的低维度向量来表示，这个向量分别代表了文档和句子的语义信息。

                                                          图1.根据句子wordEmbedding获得文档WordEmbedding

接着，我们开始摘要句子抽取过程，其基本思路是非常简单的：哪些句子在语义上与文档整体语义更相似，那么就选哪些句子作为摘要句。

                                                               图2.摘要计算流程

具体实现流程如图2所示。就是直接用每个句子的语义向量和文档整体语义向量来通过Cosine距离计算两者之间的距离，分值越大，说明这个句子在语义上越和文档整体语义越匹配，那么就越有代表性。当每个句子都算出和文档整体语义的语义相似性得分后，根据得分由高到低排序，并按需要输出一定数量的句子作为文档的摘要。

怎么样，这个思路和具体实现是相当的简单吧，应该与最简单的TFIDF做摘要的思路相当甚至还要更简单些。

|利用HITS用WordEmbedding进行改造的摘要系统

HITS是目前做摘要的所有方法里面，除了监督学习方法外，效果最能够代表主流成果的方法了。其思路是把句子之间的关系转换为图结构，然后在图结构上使用PageRank或者HITS等图挖掘算法，然后通过迭代运算找到权重最高的句子，并按照权重高低输出句子作为摘要。

图3.句子图

图3是把一篇包含5个句子的文档转换为图结构的示意图。每个句子是图中的一个节点，节点之间的边代表句子之间的语义相似性，用权值大小来表示，传统的方法是采用两个句子的TFIDF相似性来计算相似度，构造好图结构后，按照HITS算法思路迭代计算，最后每个节点会有最后的得分，按照得分高低输出句子即可。

我们对HITS的改造体现在如何计算两个句子节点形成的边上，传统方法是采用TFIDF方法，我们考虑用两个句子的Word Embedding计算两个句子的相似性，就是同样用字的Word Embedding叠加形成句子的Word Embedding，然后通过Cosine距离来作为边的权值。改进思路也比较简单。这种改进的核心思想是：传统TFIDF计算句子相似性的时候，并不是语义级别的计算，而是字面的计算，但是如果采用Word Embedding，那么假设两个句子分别出现“计算机”和“电脑”，按照TFIDF是没有相似性得分的，但是按照Word Embedding是能够体现这种字面不匹配但是语义匹配的情况的。也即是这是语义级别的相似性计算。

|实验效果

我们使用的测试数据是哈工大的中文文本摘要数据集，根据这个数据集合，分别针对上文提出的基于字Word Embedding叠加的方式构造的文本摘要系统以及针对HITS提出的改进模型做了实验，实验结果如下：

 表1 . 基于字向量叠加的文本摘要系统（段首句段尾句加大权重）

表2.基于HITS语义改造模型的文本摘要系统

由此可见，尽管字向量叠加的文本摘要方式实现思路非常简单，但是与目前较好的HITS类方法比效果也还是不错的。对于HITS来说，经过语义改造的方法与TFIDF计算边的方法相比，效果并没有明显提升，效果基本相当，这个我也没想明白是什么原因，因为按照简单思考，这种方式看上去应该比TFIDF效果好才对。

我们与现有发表论文中使用了同一测试集合的文摘工作进行了对比，具体而言，参考的是谢浩在论文“基于段落-句子互增强的自动文摘算法”中的实验数据，在论文中，提到了使用LexRank这一目前标准对比方法以及谢浩提出的改进的句子-段落增强的方法。两种方法的实验数据如下：

其中LexRank实验结果如下表：

  表 3 基于LexRank的自动文摘摘要结果统计表

另外一种提出改进的句子-段落增强的方法实验结果统计如下表：

表4 基于句子-段落增强方法文摘摘要结果统计表

从对比实验可以看出，虽然这种实现起来非常简单的文本摘要系统思路简洁，但是在效果方面比起目前State-of-art的实现相对较复杂的LexRank或者HITS类思路来说，效果基本相当，但是因为其实现方法简单，甚至比最简单的传统的TFIDF类摘要实现起来还要方便，所以是一种非常具备实用价值的文本摘要工具。


原文地址：http://blog.youkuaiyun.com/malefactor/article/details/51264244author: 张俊林,黄通文,薛会萍

【nlp】1.2文本张量表示方法(词向量word2seq和词嵌入Word Embedding)
lys_828的博客
11-13 1190
word2vec是一种流行的将词汇表示成向量的无监督训练方法。该过程将构建神经网络模型，将网络参数作为词汇的向星表示它包含CBOW和skipgram两种训练模式CBOW(Continuous bag of words)模式给定一段用于训练的文本语料，再选定某段长度(窗口)作为研究对象，使用上下文词汇预测目标词汇概念：1). 也是一种词向量的表示方法 (把词表示成向量;一句话表示成向量矩阵2). 使用深度学习的方法也就是使用深度学习网络的方法。使用深度学习网络的参数 来表示词向量。
使用Word Embedding构造简洁有效的文本摘要系统
热门推荐
张俊林的博客
04-28 3万+
本文介绍了使用Word Embedding进行摘要提取的一种非常简洁的方法。
word embedding
xiaoxiaoqian0519的博客
01-11 207
文本表示 **作用：**将非结构化的信息转化成结构化的信息，这样可以针对文本信息进行计算，完成日常解决的文本分类，情感判断等任务； 文本表示的方法：（1）独热码编码；（2）整数编码；（3）词嵌入； 两种主流的word embedding的方法：word2vec以及GloVe Word2vec： 基于统计方法获得词向量的方法； GloVe： 将全局统计和Word2vec的基于上下文的学习结合起来； GloVe简单介绍 这个是基于全局词频统计的词表征工具，可以将一个单词表达成一个由实数组成的向量，这些向量捕捉
一文彻底搞懂Transformer - Word Embedding（词嵌入）
最新发布
HUANGXIN9898的博客
05-13 1097
词嵌入与早期的文本表示方法，如ASCII相比，词嵌入技术具有显著的优势。ASCII虽然有效地实现了文本的渲染和传输，但它无法传递词汇的深层含义。而词嵌入技术则能够捕捉到单词之间的语义关系，使得计算机能够在语义层面理解和处理语言。**Word Embedding这一创新使得语义搜索成为可能，我们能够更精准地理解和分析不同语言的文档。这一进步正在改变我们在数字时代处理信息的方式，使得我们能够更高效地处理和分析大量的文本数据。**
几种Word Embedding技术详解
python1234_的博客
08-15 1323
词嵌入或词向量是我们用来表示文档和单词的一种方法。它被定义为一个数字向量输入，允许具有相似含义的单词具有相同的表示。它可以近似含义并在较低维空间中表示单词。这些可以比使用 WordNet 等图形嵌入的手工构建模型训练得更快。例如，具有 50 个值的词嵌入可以表示 50 个独特特征。许多人选择预先训练的词嵌入模型，如 Flair、fastText、SpaCy 等。我们将在文章中进一步讨论它。让我们通过一个示例来简要地了解它。
word embedding各种方法总结
xiaoxiaoqian0519的博客
01-11 1724
word2vec word2vec是一个工具，背后的模型是CBOW或者Skip-gram，并且使用了Hierarchical Softmax或者Negative Sampling这些训练的优化方法。 GloVe 1、首先根据语料库创建一个共现矩阵，其中每一个元素代表单词和上下文词再特定的上下文窗口内共同出现的次数，并且GloVe还提供了decreasing weighting，就是基于两个词在上下文窗口中的距离d，去给一个权重1/d，也就是距离远的两个词，占总计数的权重就小； 2、构建词向量和共现矩阵之间的
Word Embedding
ABC__xiaoming的博客
07-21 479
Word Embedding 1. 基本概念 1.1 什么是Word Embedding 现有的机器学习方法往往无法直接处理文本数据，因此需要找到合适的方法，将文本数据转换为数值型数据，由此引出了Word Embedding的概念。如果将word看作文本的最小单元，可以将Word Embedding理解为一种映射，其过程是：将文本空间中的某个word，通过一定的方法，映射或者说嵌入到另一个数值向量空间 1.2 Word Embedding的输入 Word Embedding的输入是原始文本中的一组不重叠的
文本处理——Embedding、Word embedding、Word2vec 之说
weixin_42305378的博客
06-03 1552
这篇主要就是想让大家了解下 Embedding、word embedding、word2vec的一些相关知识。 Embedding在数学上表示一个单射的、结构保持的映射 f: X -> Y， 也就是一个function，此处的结构保持的具体含义要依赖于X 和 Y 是哪种数学结构的实例而定。 举个例子：我们可以把整数“嵌入”进有理数之中。显然，整数是一个group，同时它又是有理数的一个subgroup。整数集合中的每个整数，在有理数集合中都能找到一个唯一的对应（其实就是它本身）。同时，整数集合中的每个整数
Word embedding（文本向量化）技术与路线
红豆的博客
12-18 1232
0. CountVecorizer 是属于常见的特征数值计算类，是一个文本特征提取方法。 对于每一个训练文本，它只考虑每种词汇在该训练文本中出现的频率。 CountVectorizer会将文本中的词语转换为词频矩阵，它通过fit_transform函数计算各个词语出现的次数。 CountVectorizer(input='content', encoding='utf-8', decod...
Transformer模型：WordEmbedding实现
weixin_62472350的博客
07-12 2360
接下来就是构造embedding了，这里nn.Embedding()传入了两个参数，第一个是embedding的长度，也就是单词个数+1，+1的原因是因为有个0是作为填充的，第二个参数就是embedding的维度，也就是一个单词会被映射为多少维度的向量。这里把tgt的也补充了，得到的就是src和tgt的内容各自在一个二维张量里（batch_size，max_seg_len），batch_size也就是句子数，max_seg_len也就是句子的单词数（分为src的长度跟tgt两种）。
常用的词嵌入（Word Embedding）方法及其原理（超详细的李宏毅视频课笔记）
双鸭山•克里菲斯•北方孤星之堕
08-01 1万+
介绍最早的电脑读取文字的 每一个词汇都当做一个符号，都用向量来描述，这个方法是不足的，这样词汇和词汇之间的相关性反应不出来。 后来有了word class，将词汇进行分类。 这个方法也比较粗糙，比如动物也分了很多种 Word Embedding 每一个的词汇都用向量来描述，但是每一个维度是一个属性。 怎么做？这是一个无监督方法，通过让模型阅读大量词汇，就可以知道这个embedding的feature vector长什么样子。 就是找一个network，输入是一个词汇，输出就是那个embedding， 输
WordEmbedding-WikiChinese：基于中文维基百科文本数据训练词向量
02-19
基于中文维基百科文本数据训练词向量 一，数据获取 本词向量利用的是中文维基百科的语料进行训练。 语料地址： （大小1.16G） 也可以在我的网盘上下载：链接： 提取码：ihu4 二，数据转换 原数据的格式是xml，我们可以将其转换为txt。 这里使用的是gensim自带的WikiCorpus，首先读取xml文件到input_file中，然后其中的get_texts方法会生成一个get_texts器，每一个继承蕴含了一篇文章，这样我们就可以将其写入新的txt文件中了。 三，繁体数据转换为简体数据 该Wiki数据是繁体中文数据，我们要把他们转换为简体中文数据。 利用zhconv包。 四，分词 利用结巴分词。 五，去除非中文词 一些单词中会包含非中文的词，我们要利用正则表达式将该词移除。 判断是否中文词的正则表达式为： ^[\u4e00-\u9fa5]+$ 六，词向量训练 利用from gens
Word Embedding总结
J~的博客
12-06 1890
目录 1 概述 2 词的表示方法类型 2.1 词的独热表示one-hot representation 2.2词的分布式表示distributed representation 2.2.1基于矩阵的分布表示（Glove） GloVe模型(Global Vectors for Word Representation) 2.2.2基于聚类的分布表示 2.2.3 基于神经网络的分布...
关于word embedding的一些思考
Lcyztf的博客
09-08 1583
源于最近做生成和检索式对话系统，以及一篇well named paper：When and Why are Pre-trained Word Embeddings Useful for Neural Machine Translation？ 这里总结一下最近对word embedding的思考。 https://www.cnblogs.com/Determined22/p/5780305.htm...
1.7使用Word Embedding实现中文自动摘要《深入浅出Embedding》
勇气与行动
02-28 991
本节通过一个实例讲解如何使用Word Embedding实现中文自动摘要，这里使用Gensim中的word2vec模型来生成Word Embedding. 1.7.1 背景说明 使用Word Embedding方法提取关键字，主要步骤如下： 1）导入一个中文语料库 2）基于这个中文语料库，搭建word2vec模型，训练得到各单词词向量 3）导入一个文档，包括各主题及其概要描述信息，预处理该文档，并转换为词向量 4）用聚类的方法，生成各主题的若干个关键词 1.7.2 预处理中文语料库 利用ji
word embedding是什么，word embedding之前需要做什么？
weixin_44535934的博客
01-22 3587
我们知道自然语言处理是让机器能够看懂并理解人类所说的语言，能够像人类一样进行交互，和人对话。从自然语言的角度看，NLP可以大致分为自然语言处理和自然语言生成这两部分，就是理解文本和文本生成。具体应用领域几乎覆盖日常生活，如提取文章摘要，文本情感分析，淘宝京东上机器人客服的智能问答，实体命名识别，知识图谱，信息检索等等。又比如说现在已经有方言的语音转文字技术。那具体实现起来该怎么样呢？我们总不能直接把一堆文字或者一段英文直接倒给计算机，计算机只能处理数字，那么我们就得把词给转换成可以供计算机计算的数。
NLP-词向量(Word Embedding)：Embedding（Tranform Object To Vector）【对象向量化；Embedding的本质是以one-hot为输入的单层全连接层】
u013250861的博客
12-22 2874
- 近年来，NLP自然语言处理、推荐系统，以及计算机视觉已成为目前工业界算法岗的主流方向，无论在哪个领域，对“Embedding”这个词概念的理解都是每个庞大知识体系的基石。 - “Embedding”直译是嵌入式、嵌入层。它能把万物嵌入万物，是沟通两个世界的桥梁！ - 用数学的话来说：“它是单射且同构的” - 地图就是对于现实地理的Embedding，现实的地理地形的信息其实远远超过三维，但是地图通过颜色和等高线等来最大化表现现实的地理信息。 - 通过Embedding，我们在现实世界里的文字、图片、语言
M3E，开源中文 Embedding 模型使用笔记
清水至清
10-25 6208
【代码】M3E，开源中文 Embedding 模型使用笔记。
获取Embedding
咔咔响
06-30 1831
今天我们来介绍实现Embedding的方法，分为手动实现、利用平台获取以及预训练模型手动实现一个简单word2vecimport numpy as np from argparse imp...
pytorch下使用textcnn怎么进行文本分类
05-25
下面是使用PyTorch实现文本分类的TextCNN模型的基本步骤： 1. 数据预处理：将文本数据转换成数字形式，比如使用词袋模型或词嵌入（Word Embedding）等方式将每个单词映射成一个数字向量。 2. 定义模型结构：TextCNN模型主要由卷积层和池化层组成，可以使用PyTorch中的nn.Conv1d和nn.MaxPool1d等函数实现。 3. 模型训练：定义损失函数和优化器，并在训练集上训练模型。 4. 模型评估：在测试集上测试模型的性能，通常使用准确率（Accuracy）等指标来评估模型的性能。 下面是一个简单的示例代码，用于实现基于TextCNN的文本分类： ``` python import torch import torch.nn as nn class TextCNN(nn.Module): def __init__(self, vocab_size, embedding_dim, num_classes, kernel_sizes=[3, 4, 5], num_filters=100): super(TextCNN, self).__init__() self.embedding = nn.Embedding(vocab_size, embedding_dim) self.convs = nn.ModuleList([nn.Conv1d(in_channels=embedding_dim, out_channels=num_filters, kernel_size=ks) for ks in kernel_sizes]) self.fc = nn.Linear(len(kernel_sizes) * num_filters, num_classes) def forward(self, x): x = self.embedding(x) x = x.permute(0, 2, 1) x = [torch.relu(conv(x)) for conv in self.convs] x = [torch.max_pool1d(conv, conv.shape[2]).squeeze(2) for conv in x] x = torch.cat(x, dim=1) x = self.fc(x) return x ``` 其中，TextCNN类的构造函数中，vocab_size表示词表大小，embedding_dim表示词嵌入维度，num_classes表示分类类别数，kernel_sizes表示卷积核大小列表，num_filters表示卷积核数量。 在forward函数中，首先将输入x通过Embedding层转换为词向量，接着将其转置，以便输入到卷积层中。然后，对于每个卷积核，分别进行卷积操作，并通过ReLU激活函数进行非线性变换。接着，对于每个卷积结果，进行一维最大池化操作，得到每个卷积核对应的特征值。最后，将所有特征值拼接起来，并通过全连接层进行分类预测。 在训练模型时，可以使用PyTorch提供的交叉熵损失函数（nn.CrossEntropyLoss）和Adam优化器（torch.optim.Adam），并进行多轮迭代训练。 ``` python model = TextCNN(vocab_size, embedding_dim, num_classes) criterion = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate) for epoch in range(num_epochs): for i, (inputs, labels) in enumerate(train_loader): optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() # 在测试集上评估模型性能 with torch.no_grad(): correct = 0 total = 0 for inputs, labels in test_loader: outputs = model(inputs) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() accuracy = 100 * correct / total print('Epoch [{}/{}], Accuracy: {:.2f}%'.format(epoch+1, num_epochs, accuracy)) ``` 这里示例代码中，使用交叉熵损失函数和Adam优化器进行模型训练，并在每个epoch结束后，计算在测试集上的准确率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值