Spark
文章平均质量分 67
chad__chang
大数据开发高级工程师
优快云大数据领域优质创作者
阿里云专家博主
华为云大数据领域专家博主
[chad__chang大号](https://blog.youkuaiyun.com/u014645178?spm=1010.2135.3001.5421)
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
经典回顾:Hive执行原理、MapReduce执行流程、Spark执行流程
本文概述了Hive、MapReduce和Spark三种大数据处理框架的执行流程。Hive的执行包括SQL解析为AST、生成逻辑计划、优化、物理计划生成及提交Hadoop任务;MapReduce流程涉及资源管理器分配任务、节点管理器启动任务容器、执行Map/Reduce任务及结果返回;Spark流程则包含资源分配、Executor启动、任务分发执行及结果写入HDFS。三者的核心差异在于处理模型:Hive基于SQL转换,MapReduce采用两阶段批处理,而Spark通过内存计算实现高效迭代。原创 2025-08-15 10:59:43 · 447 阅读 · 0 评论 -
什么是spark?通俗易懂,一文读懂
spark生态,批处理流处理,SparkSQL SparkStreaming原创 2022-10-01 14:05:31 · 1070 阅读 · 1 评论
分享