elpsyco的博客

standalone模式使用sparksubmit提交任务，Driver运行在Client上使用本地的Client类的main函数创建sparkcontext并初始化它sparkcontext连接到Master，注册并申请资源master根据sc提出的申请，根据worker的心跳报告，来决定在哪个worker上启动executorexecutor向sc注册，sc将应用分配给execut...

Spark是一种快速、通用、可扩展的大数据分析引擎Spark是基于内存计算的大数据并行计算框架Spark Core ：实现了 Spark 的基本功能，包含任务调度、内存管理、错误恢复、与存储系统 交互等模块Spark SQL：使用 SQL 或者 Apache Hive 版本的 SQL 方言(HQL)来查询数据，Spark SQL 支持多种数据源，比 如 Hive 表、Parquet 以及...