RL小站

文章目录一、聚合方法1.1 aggregateByKey1.2 acombineByKey1.3 foldByKey1.4 groupby1.5 reduceByKey 一、聚合方法 大型数据集中，为了减少shuffle的数据量，相对于groupByKey来说，使用reduceByKey、combineByKey以及foldByKey 会是更好的选择 数据 def create_pair(...

文章目录二、DataFrame操作2.1 describe2.2 drop2.3 join2.4 sql2.5 withColumn 增加列三、RDD操作3.1 cartesian3.2 filter3.3 flatmap3.4 join3.5 mapPartitions3.5.1 mapPartitions例子3.5.2 每个分区内的iter处理(含空分区 和 分区内多iter)3.6 sort...

文章目录一、基本操作1.1 创建spark连接1.1.1 SparkSession1.1.2 Sparkconf1.2 数据加载1.2.1 载入json1.2.2 载入文本1.2.3 载入csv1.3 一般操作1.3.1 json等有表头的数据1.3.2 rdd操作1.3.2.1 简单操作1.3.2.2 排序1.3.3 结构框架下的CSV数据 一、基本操作 from pyspark.sql imp...

文章目录一、DataFrame一些操作1.1 添加列1.2 udf1.3 多行聚合1.4 单行聚合1.5 从Row结构到DataFrame1.6 交叉频率表(`crosstab`)1.7 删除重复行(`dropDuplicates`) 1.8 gruopby组合(`rollup`&`GROUPING_ID`) 二、简单数值型数据探索2.1 summary2.2 近似百分位 快速求解(`ap...