wuyangcc的博客

0. SparkStreaming流式计算简介SparkStreaming实时处理入门案例SparkStreaming和HDFS整合SparkStreaming与Kafka整合SparkStreaming常见transformation算子SparkStreaming高可用及其优化建议1. 流式计算简介1.1. 流式计算​ 如何去理解流式计算，最形象的例子，就是小明的往水池中...

0.性能调优大纲调优简介开发调优资源调优数据倾斜调优shuffle调优jvm调优1. 调优简介​ ​ 为啥要做调优，上图已经告诉我们答案了~2. 开发调优​ 开发出高质量的代码，从如下几个角度去说明，当然避免使用一些性能比较低的算子，使用一些占用空间比较小的数据结构，使用一些占用体积比较小的序列化的方式等等。2.1. 避免创建重复的RDD...

SparkCore-RDD编程操作0. 大纲Spark程序的执行过程RDD的操作RDD的转换操作共享变量高级排序1. Spark程序执行过程1.1. WordCount案例程序的执行过程1.2. Spark程序执行流程2. RDD的操作​ At a high level, every Spark application consists of a dri...