pyspark读取csv并repartitionByRange重新分区处理
这里使用的函数是repartitionByRange,该函数在spark2.4之前是没有的具体使用方式可以参考官网介绍:http://spark.apache.org/docs/2.4.6/api/python/pyspark.sql.html?highlight=repartitionby#pyspark.sql.DataFrame.repartitionByRangespark读取csv文件spark是支持读取csv文件的,读取过程代码如下:#传入两个列表组成元组,这里的数列是直接由
原创
2020-08-19 15:35:03 ·
2735 阅读 ·
0 评论