
Spark
zzz0286
全干工程师会点前端,会点后台,会点大数据
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark数据倾斜,如何解决spark的数据倾斜
一 Spark数据倾斜如何产生的? 二 如何解决spark产生的数据倾斜,如何优化spark原创 2020-05-06 09:23:40 · 250 阅读 · 0 评论 -
AggregateFuntion ,ProcessFuntion 使用
AggregateFuntion 是相当于累加器 ProcessFuntion 是Flink的最底层API, 相对于DataStreamAPI 能访问更多的信息 如时间戳 ,wartermark等更多特定事件原创 2020-04-25 10:58:50 · 326 阅读 · 1 评论 -
Spark编程的一些理解和Flink的区别
Spark和Flink都有用过 现在总结一些他们各自的设计架构和设计理念 Spark 不是真 - 实时 而是微批处理 3秒处理一个批次 Flink是基于流时间Event Time 的真实时处理引擎, 来一条数据处理一条 ...原创 2020-04-24 09:30:32 · 193 阅读 · 0 评论