First_____的博客

概述 介绍: SparkStreaming是一种用于流式数据的处理,准实时(秒级, 分钟)数据处理, 微批量数据处理的一种方式 Spark Streaming 使用离散化流(discretized stream)作为抽象表示，叫作 DStream。DStream 就是对 RDD 在实时数据处理场景的一种封装。 图解: 背压机制 背压机制（即 Spark Streaming Backpressure）: 根据JobScheduler 反馈作业的执行信息来动态调整 Receiver 数据接收率。 通

sql的基本操作及方法使用 注: 在spark启动的cmd客户端,sc表示(RDD):sparkContext spark(Sql)表示: sparkSession 方法 spark.read:读取指定文件 write.save: 保存文件 format: 保存为指定格式或读取指定格式 show: 进行展示数据 createTempView: 创建临时视图 createOrReplaceTempView:创建临时视图,会替换掉相同名字的视图 createOrReplaceGlobalTempView:创

1.环境准备工作流程: yarn模式的 cluster部署模式 主要有两条工作线: 注册环境相关应用程序,节点 Driver端继续执行相关算子 注: 最后将算子的task交给Executor来进行执行 流程图概述: yarn模式的 client部署模式: 其实和cluster模式大致相同,不同的部分主要为Driver的放置位置不同: cluster:将Driver放置在集群的ApplicationMaster当中 client :将Driver放置在集群外边 组件通信 阶段的划分 任务的切分

因为RDD的实现原理和IO的实现原理差不多，我们先来说一下IO的实现原理： 其实真正进行读取数据的还是FileInputStream IO实现原理图解： RDD的工作流程： RDD不会存储数据； RDD也有装饰者模式； RDD只有调用collect方法，才会真正执行业务逻辑代码，封装操作都是对RDD的功能扩展 为了保证并行度，会先进行分区： RDD的特点： 介绍：RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。 ➢

下面介绍的是spark的几种运行的模式:本地模式, 分布式(standalone)和 yarn模式 ,还有配置高可用和配置历史服务 本地模式 将解压后的文件直接执行下面命令, bin/spark-shell 提交应用: 1 bin/spark-submit 1 --class org.apache.spark.examples.SparkPi 1 --master local[2] ` 1 ./examples/jars/spark-examples_2.12-3.0.0.jar 1 10