Spark MLlib 特征抽取、转化和选择 -- 特征抽取2 Word2Vec

最新推荐文章于 2021-09-04 22:55:18 发布

studiousq

最新推荐文章于 2021-09-04 22:55:18 发布

阅读量732

点赞数

本文链接：https://blog.youkuaiyun.com/zhaoqqa/article/details/81901441

版权

本文详细介绍了Spark MLlib中的Word2Vec模型，这是一种用于特征抽取的词嵌入方法。Word2Vec通过训练产生分布式词向量，捕捉语义和语法特性，可用于提升NLP任务的性能。文章讨论了两种模型：CBOW和Skip-gram，并解释了它们的工作原理。最后，展示了如何在Spark中使用Word2Vec进行文档向量化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这一部分主要介绍和特征处理相关的算法，大体分为以下三类：
1）特征抽取：从原始数据中抽取特征

2）特征转换：特征的维度、特征的转化、特征的修改

3）特征选取：从大规模特征集中选取一个子集

特征提取：

Word2Vec

Word2Vec是一种著名的词嵌入（Word Embedding）方法，是google在2013年推出的一个NLP工具，他可以计算每个单词在其给定的语料库环境下的分布式词向量（Distributed Representation,亦直接被称为词向量）。词向量表示可以在一定程度上刻画每个单词的含义。

（词向量：词向量具有良好的语义特性，是表示词语特征的常用方式。词向量每一维的值代表一个具有一定的语义和语法上解释的特征。所以，可以将词向量的每一维称为一个词语特征。词向量具有多种形式，distributed representation 是其中一种。一个 distributed representation 是一个稠密、低维的实值向量。distributed representation 的每一维表示词语的一个潜在特征，该特征捕获了有用的句法和语义特性。可见，distributed representation 中的 distributed 一词体现了词向量这样一个特点：将词语的不同句法和语义特征分布到它的每一个维度去表示）

Word2Vec是为一群用来产生词向量的相关模型，这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。