Pyspark机器学习之Word2Vec（推荐系统内容相似）

最新推荐文章于 2025-02-21 18:07:34 发布

原创

最新推荐文章于 2025-02-21 18:07:34 发布 · 1.4k 阅读

3 ·

CC 4.0 BY-SA版权

Word2Vec是一种计算词向量的高效方法，它将词汇映射到多维向量空间，使得语义相近的词在向量空间中距离相近。本文介绍了Word2Vec的基本原理，并通过实例展示了如何使用PySpark的Word2Vec模块将文档转换为特征向量，为后续的机器学习任务提供输入。

Word2Vec简介

Word2Vec是一个词嵌入方法，可以计算每个单词在给定的语料库环境下的分布式向量，如果两个单词的语义相近，那么词向量在向量空间中也相互接近，判断向量空间的接近程度来判断来两个单词是否相似。

Word2Vec数学原理

首先导入Word2Vec所需要的包，并创建可以代表文档的词语序列

from pyspark.ml.feature import Word2Vec

from pyspark.sql import SparkSession

spark= SparkSession\
                .builder \
                .appName("dataFrame") \
                .getOrCreate()

# Input data: Each row is a bag of words from a sentence or document.
documentDF = spark.createDataFrame([
    ("Hi I heard about Spark".split(" "), ),
    ("I wish Java could use case classes".split(" "), ),
    ("Logistic regression models are neat".split(" "), )
], ["text"])

# Learn a mapping from words to Vectors.
word2Vec = Word2Vec(vectorSize=3, minCount=0, inputCol="text", outputCol="result")
model = word2Vec.fit(documentDF)

result = model.transform(documentDF)
for row in result.collect():