
源码
文章平均质量分 59
针对大数据高级,了解和探索大数据组件源码解析,Flink、Spark等及新兴大数据技术。
王旭亮_
欢迎来到大数据技术人的浪漫圣地,不要让工作成为生活的全部,你也可以有诗和远方!
展开
-
【Hive的架构组成】
【Hive的架构组成】原创 2024-07-11 10:23:00 · 310 阅读 · 0 评论 -
【Spark性能调优-配置进程参数】
(2) 将“spark-defaults.conf”中的“spark.executor.memory”配置项或者“spark-env.sh”中的“SPARK_EXECUTOR_MEMORY”配置项设置为合适大小。(2) 将“spark-defaults.conf”中的“spark.executor.cores”配置项或者“spark-env.sh”中的“SPARK_EXECUTOR_CORES”配置项设置为合适大小。(1) Driver负责任务的调度,和Executor、AM之间的消息通信。原创 2024-04-09 17:48:04 · 615 阅读 · 0 评论 -
【Flink技术原理构造及特性】
Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pipeline处理数据,时延毫秒级,且兼具可靠性。转载 2024-04-01 11:26:09 · 1140 阅读 · 0 评论