word2vec的spark实现_2小时入门Spark之MLlib

最新推荐文章于 2023-09-01 11:26:43 发布

心诚则零c

最新推荐文章于 2023-09-01 11:26:43 发布

阅读量260

点赞数

CC 4.0 BY-SA版权

文章标签： word2vec的spark实现

本文链接：https://blog.youkuaiyun.com/weixin_35710893/article/details/112053722

本文介绍了Spark的MLlib库，强调其在大规模数据处理、特征工程和模型评估中的作用。通过实例展示了如何使用MLlib进行词向量（word2vec）提取、数据预处理、构建Pipeline和应用分类模型（如决策树、逻辑回归）。此外，还提及了在Spark上运行xgboost的可能性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近由于一直在用Spark搞数据挖掘，花了些时间系统学习了一下Spark的MLlib机器学习库，它和sklearn有八九分相似，也是Estimator，Transformer，Pipeline那一套，各种fit，transform接口。sklearn有多好学，MLlib就有多好学，甚至MLlib还要更加简单一些，因为MLlib库中支持的功能相对更少一些，并且MLlib基于DataFrame数据比sklearn基于numpy array会更加直观一些。

那学了这个MLlib有啥子用呢？主要有以下三方面用处。

第一是对海量数据特征工程处理。如果有遇到需要对50G以上的数据进行Tf-idf特征提取，缺失值填充，特征筛选，最邻近查找等特征工程任务时，使用Pandas的同学可能要望洋兴叹了，这时候会使用Spark MLlib的同学就会露出迷之微笑。

第二是提供机器学习模型的候选baseline。众所周知，目前工业界应用最主流的机器学习模型是xgboost，lightgbm，以及深度学习那一套。遗憾的是，MLlib原生并不带xgboost和lightgbm，对深度学习的支持也不多。但MLlib提供非常丰富的基础模型诸如决策树，随机森林，梯度提升树，朴素贝叶斯等，这些简单易用的模型可以提供一个基本的baseline。如果生产要求不是非常高的话，baseline也是可以直接拿过来落地成产品的。

第三是为xgboost，深度学习等模型提供超参优化模型评估等支持。

通过引入XGBoost4J-Spark库，Spark上也是可以分布式跑xgboost的。通过引入mmlspark库，Spark上也是可以分布式跑lightgbm的，通过引入TensorflowOnSpark，Spark上也是可以分布式跑TensorFlow的。而MLlib的超参调优和模型评估等功能无疑可以很好地和这些牛逼闪闪的框架很好地协作起来。

以上是一些MLlib常用的使用场景。废话不多说了，让我们出发吧！

在Python与算法之美公众号后台回复关键字："MLlib"获取本文全部源码。

一，MLlib基本介绍