Pyspark系列笔记--如何在一个pysprk Dataframe上训练word2vec模型

前言

本次试验环境：

spark-1.5.0
python-2.7

---

Step 1. Create a dataframe use a json file

值得注意的事
json格式要求每一行为一个json串，即json串不能跨行。支持json格式处理的有jq插件。可参考这一篇关于jq插件的博客。

print('读取json文件...')
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
path = r'hdfs://master:9000/test.json'
jsonDF = sqlContext.read.json(path).cache()
jsonDf.show()

---

Step 2. Transform the column you want to use

第一步之后，我们就已经创建了一个dataframe。
show函数以后，大致会显示出以下的数据结构：