Pyspark系列笔记--如何成功join不同的pyspark dataframe

前言

最近在研究pyspark，用到的主要是pyspark的sql模块和ml模块。
既然用到sql模块，便免不了要涉及dataframe。
至于dataframe的基本操作，大家可以自行百度或者必应，很容易上手的啦。
但是坑很多，要慢慢调，要耐心。

上次讲到了pyspark的dataframe如何做词向量，详情参见Pyspark系列笔记–如何在一个pysprk Dataframe上训练word2vec模型，这次就是在做完词向量以后要对dataframe进行拼接时，遇到了各种坑，在此写个博客，以便各位参考。

本次实验环境：

pyspark 1.5.0
python 2.7

---

Step 1. 继续上次的词向量

from pyspark.ml.feature import Word2Vec
model = Word2Vec(vectorSize=5, seed=42, inputCol="name", outputCol="model").fit(jsonDF)
model.getVectors().show()

结果如下：