
spark
文章平均质量分 57
刘浩浩yyds
愿每个人都能被温柔以待
展开
-
SparkDay03
一、Data Frame表二、创建DataFrame表三、DataFrameAPI四、DataFrameTest1、统计每个公司每年按月累计收入2、统计人的工作履历五、submit-项目在服务器中运行六、对多次使用的DF进行缓存七、Window开窗函数(***************)八、DFToRDD&RDDToDF九、自定义UDF函数十、DFTest原创 2022-05-23 09:22:14 · 795 阅读 · 0 评论 -
SparkDay02
一、Union合并两个RDD二、Join1、innerJoin2、leftOuterJoin3、fullOuterJoin三、MapValues四、Sort五、Distinct七、RDDAction算子八、StudentTest统计偏科最严重的前100名学生九、Submit在集群中运行十、StudentTest统计每科都及格的学生十一、用代码求PI十二、Acc累加器十三、Bro广播函数原创 2022-05-18 22:47:56 · 527 阅读 · 0 评论 -
SparkDay01
一、SparkWordCount二、Partition分区三、StudentTest多线程四、MakeWords读取保存数据五、action算子六、map算子七、filter算子八、flatmap算子九、sample对数据进行抽样十、groupBy、groupByKey十一、GroupByKey、reduceByKey十二 WordCount统计单词数量原创 2022-05-18 22:29:25 · 595 阅读 · 0 评论