m0_57498038的博客

目录01：上篇回顾02：本篇内容03：SparkStreaming的缺点04：StructStreaming的设计05：官方示例WordCount06：自定义开发WordCount实现07：Source数据源类型及File Source08：常用Query查询器选项09：Sink数据源：支持类型10：Sink数据源：Foreach Sink11：StructStreaming容错机制12：集成Kafka：消费Kafka数据13：集成Kafka：生产Kafk

01：上篇回顾https://blog.youkuaiyun.com/m0_57498038/article/details/119112951 SparkSQL中Sink数据源接口如何设计的？ 语法 df/ds.write.mode .format .save/save(Path)/saveAsTable 注意：写数据库，需要考虑插入更新的问题 SparkSQL如何集成Hive并如何实现开发？ 设计：SparkSQL访问Meta..

目录01：上篇回顾02：课程目标03：数据源Sink：设计04：集成Hive：场景及设计05：集成Hive：SparkShell测试06：集成Hive：IDEA测试07：自定义UDF规则08：自定义UDF测试09：SparkSQL开发方式10：SparkSQL开发方式：SQL Shell11：SparkSQL开发方式：Beeline12：SparkSQL开发方式：JDBC13：Catalyst 优化器14：实时数据计算场景及架构15：Spark S

目录 01：上篇回顾02：学习目标03：外部数据源：场景04：外部数据源：写Hbase05：外部数据源：读Hbase06：外部数据源：写MySQL07：广播变量：Broadcast Variables08：累加器：Accumulators09：内核调度：宽窄依赖10：内核调度：Shuffle11：内核调度：基本概念12：内核调度：调度流程13：内核调度：并行度14：SparkCore中的问题15：SparkSQL的诞生与发展...

01：上次回顾https://blog.youkuaiyun.com/m0_57498038/article/details/119103534 SparkCore代码的开发流程是什么？ //step1：构建SparkContext对象：读取数据，Task解析、分配、监控val conf = new SparkConf .set（key,value） .setMaster .setAppNameval sc = new SparkContext / val sc = Spar

目录01：学习目标02：分布式计算需求及发展03：Spark的诞生及发展04：Spark的功能及特点05：Spark的应用场景06：MR的设计回顾07：Spark的基本设计知识点08：Spark与MR设计对比知识点09：环境部署：版本与编译知识点10：环境部署：运行模式知识点11：环境部署：集群架构知识点12：环境部署：本地模式环境知识点13：环境部署：本地模式测试知识点14：环境部署：Standalone集群搭建知识点15：环境部署：Standa