m0_57498038的博客

目录01：上篇回顾02：本篇内容03：SparkStreaming的缺点04：StructStreaming的设计05：官方示例WordCount06：自定义开发WordCount实现07：Source数据源类型及File Source08：常用Query查询器选项09：Sink数据源：支持类型10：Sink数据源：Foreach Sink11：StructStreaming容错机制12：集成Kafka：消费Kafka数据13：集成Kafka：生产Kafk

01：上篇回顾https://blog.youkuaiyun.com/m0_57498038/article/details/119112951 SparkSQL中Sink数据源接口如何设计的？ 语法 df/ds.write.mode .format .save/save(Path)/saveAsTable 注意：写数据库，需要考虑插入更新的问题 SparkSQL如何集成Hive并如何实现开发？ 设计：SparkSQL访问Meta..

目录01：上篇回顾02：课程目标03：数据源Sink：设计04：集成Hive：场景及设计05：集成Hive：SparkShell测试06：集成Hive：IDEA测试07：自定义UDF规则08：自定义UDF测试09：SparkSQL开发方式10：SparkSQL开发方式：SQL Shell11：SparkSQL开发方式：Beeline12：SparkSQL开发方式：JDBC13：Catalyst 优化器14：实时数据计算场景及架构15：Spark S

目录 01：上篇回顾02：学习目标03：外部数据源：场景04：外部数据源：写Hbase05：外部数据源：读Hbase06：外部数据源：写MySQL07：广播变量：Broadcast Variables08：累加器：Accumulators09：内核调度：宽窄依赖10：内核调度：Shuffle11：内核调度：基本概念12：内核调度：调度流程13：内核调度：并行度14：SparkCore中的问题15：SparkSQL的诞生与发展...