m0_57498038的博客

目录 01：上篇回顾02：学习目标03：外部数据源：场景04：外部数据源：写Hbase05：外部数据源：读Hbase06：外部数据源：写MySQL07：广播变量：Broadcast Variables08：累加器：Accumulators09：内核调度：宽窄依赖10：内核调度：Shuffle11：内核调度：基本概念12：内核调度：调度流程13：内核调度：并行度14：SparkCore中的问题15：SparkSQL的诞生与发展...

01：上次回顾https://blog.youkuaiyun.com/m0_57498038/article/details/119103534 SparkCore代码的开发流程是什么？ //step1：构建SparkContext对象：读取数据，Task解析、分配、监控val conf = new SparkConf .set（key,value） .setMaster .setAppNameval sc = new SparkContext / val sc = Spar

01：上一篇部分回顾https://blog.youkuaiyun.com/m0_57498038/article/details/119101404 Spark的功能、特点和应用场景是什么？ 定义：Spark是一个光速的，统一化的数据分析分布式计算引擎和机器学习计算库 功能 离线批处理计算：SparkCore 离线交互式计算：SparkSQL 实时计算处理：SparkStreaming、StructStreaming