Spark
关注
分享
扫一扫
文章平均质量分 79
成程晨
2019.06-2019.08 实习于上海-蚂蚁金服-CTO线
2019.12-2020.06 实习于深圳-腾讯-TEG
2020.07-至今 工作于北京-FreeWheel-Forecast Team
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark之UDF失效
Spark之UDF失效原创 2022-10-22 10:10:50 · 1045 阅读 · 0 评论 -
Spark优化之在大数据环境判断两个列表是否有交集
Spark优化之在大数据环境判断两个列表是否有交集原创 2022-09-24 13:58:36 · 1072 阅读 · 0 评论 -
Spark读入ProtoMessage并写出为Parquet
Spark如何快速将ProtoMessage写出为Parquet原创 2022-09-18 20:17:38 · 828 阅读 · 0 评论 -
SparkStreaming之socketTextStream遇到的一些小问题
实验环境 主机名 IP 操作系统 host1 192.168.110.1 Windows host2 192.168.110.13 Linux 实验准备 首先在host2上使用nc命令打开端口7777，之后在host1上运行代码 实验代码 import org.apache.spark._ import org.apache.spark.s...原创 2019-05-28 18:11:18 · 4606 阅读 · 2 评论 -
一句标准的Spark WordCount代码究竟产生了多少个RDD？
sc.textFile("./data/input") .flatMap(x -> Arrays.asList(x.split(" ")).iterator()) .mapToPair(x -> new Tuple2<>(x, 1)) .reduceByKey((x1, x2) -> x1 + x2) .saveAsTextFile("./data/o...原创 2019-10-04 13:54:45 · 424 阅读 · 0 评论