pySpark学习笔记3——处理csv数据（合并与存储在hdfs）

上一篇博文是开始，处理csv数据还是需要继续，将我所有数据的预处理及编码，agg以及np的处理，全部改成spark中的数据处理，这个肯定有难度，但我觉得可以尝试，毕竟还是有意思的，就是翻译代码。加油吧，搬砖工。

For Recommendation in Deep learning QQ Group 277356808

For Visual in deep learning QQ Group 629530787

I'm here waiting for you

不接受这个网页的私聊/私信！！！

目前最简单的是实现片段csv的拼接，下面先进行尝试，直接存储在hdfs上，如果这个都没通，高楼大厦全都是空中楼阁，无稽之谈。

 1-所以目前遇到了一个问题，写入的csv文件为何必然是文件夹，我直接写一个csv文件咋就不行呢？？这是哪里来的幺蛾子？