Spark原理与优化
关注
分享
扫一扫
文章平均质量分 86
。。。
程研板
计算机本硕连读，热爱大数据和人工智能，希望能够为apache社区添砖加瓦。2025年起开始接做毕设的项目。
展开
-
Spark中的checkpoint机制
目录一.Spark Core中的checkpoint二.Spark Streaming中的checkpoint三.Spark Structured Streaming中的checkpoint一.Spark Core中的checkpoint二.Spark Streaming中的checkpoint三.Spark Structured Streaming中的checkpoint原创 2022-03-14 19:00:26 · 2941 阅读 · 0 评论 -
Spark Streaming官网重点整理
目录一.Spark Streaming1.Input DStreams and Receivers2.Receiver Reliability3.Transform Operation4.UpdateStateByKey Operation5.Output Operations on DStreams6.DataFrame and SQL Operations7.Fault-tolerance Semantics二.Spark Structured Streaming一.Spark Streaming1原创 2022-03-09 21:31:15 · 670 阅读 · 0 评论 -
对Spark中Driver的小研究
目录Standalone模式Yarn模式driver是进程吗？先说结论：1.Standalone模式中，client是spark-submit进程中开启一个线程，然后通过反射执行driver代码的main方法。cluster是开启DriverWrapper进程来运行driver。2.Yarn模式，client是spark-submit进程中开启一个线程，然后通过反射执行driver代码的main方法。cluster是ApplicationMaster进程中通过反射执行driver代码的main方法原创 2022-01-13 00:00:18 · 1842 阅读 · 2 评论 -
Spark设计原理(三)——错误容忍机制
目录原创 2021-05-17 11:30:37 · 301 阅读 · 3 评论 -
Spark设计原理(二)——数据缓存机制
目录原创 2021-05-12 15:42:29 · 571 阅读 · 3 评论 -
Spark设计原理(一)——Shuffle机制
目录原创 2021-05-03 17:23:06 · 1268 阅读 · 3 评论