关于我转生变成程序猿这档事

（多图慎入）首先有standalone和on-yarn各自的两种模式流程图，然后对on-yarn的cluster模式的源码进行了解读

文章目录检查点机制驱动器程序容错工作节点容错接收器容错处理保证检查点机制Metadata checkpointing —— 将定义流计算的信息存入容错的系统如HDFS。Data checkpointing —— 将产生的RDDs存入可靠的存储空间。代码实现如下图val sparkContext = new SparkContext(new SparkConf())val ssc = n...

测试了0.8版本的Receiver DStream和Direct DStream，还有0.10版本的Direct DStream

通过poll和pull的方式

基本数据源有文件数据源、自定义数据源、RDD队列；

最基础的单词计数，socket发送什么就接收什么，不保留历史消息

可以直接使用hql语句

主要是DataFrame的两种构建方式、DSL语句和SQL语句的使用

分别有DSL语法和SQL语法两种风格，本文关于DSL主要介绍了关于查询表中字段，对字段数据进行修改、过滤、分组统计等操作

主要有文本文件，json文件和parquet列式存储格式文件

主要有DAG(Directed Acyclic Graph)、shuffle和任务调度流程的相关知识

文章目录RDD的依赖关系宽依赖窄依赖血统RDD缓存概述缓存方式RDD的依赖关系RDD和它依赖的父RDD的关系有两种不同的类型，即窄依赖（narrow dependency） 和宽依赖（wide dependency）。宽依赖宽依赖指的是子RDD中的数据来源于父RDD中的多个分区，其实就是产生了shuffle窄依赖窄依赖指的是子RDD中的数据来源于父RDD当中的一个分区，也即没有产生...

通过Spark从多张表中查询对应ip地址、ip经纬度，并求取出现次数

分析包括统计PV、UV、求取指定数据的TopN

如何创建RDD？RDD的Transformation算子和Action算子的用法

目录基本概念官方文档概述含义RDD出现的原因五大属性以单词统计为例，一张图熟悉RDD当中的五大属性解构图RDD弹性RDD特点分区只读依赖缓存checkpoint基本概念官方文档介绍RDD的官方说明：http://spark.apache.org/docs/latest/rdd-programming-guide.html概述含义RDD (Resilient Distributed D...

目录步骤一、创建maven工程，导入jar包二、开发代码步骤一、创建maven工程，导入jar包<properties> <scala.version>2.11.8</scala.version> <spark.version>2.2.0</spark.version> </prope...

目录可以先用local模式读取一下步骤一、先将做测试的数据上传到HDFS二、开发scala代码standAlone模式查看HDFS上的文件步骤一、退出local模式，重新进入Spark-shell二、开发scala代码可以先用local模式读取一下步骤一、先将做测试的数据上传到HDFScd /export/servers/sparkdatashdfs dfs -mkdir -p /sp...

目录步骤一、准备本地文件以作测试二、通过 --master启动本地模式三、开发scala单词统计代码步骤一、准备本地文件以作测试在第一台机器执行mkdir -p /export/servers/sparkdatascd /export/servers/sparkdatas/vim wordcount.txthello mehello youhello her二、通过 --...

目录Local模式运行环境搭建小知识搭建步骤一、上传压缩包并解压二、修改Spark配置文件三、启动验证进入Spark-shell四、运行Spark自带的测试jar包standAlone模式运行环境搭建搭建步骤一、修改配置文件三、将配置好的安装包分发到其他机器四、启动Spark程序五、页面访问六、进入Spark-shell测试启动七、运行Spark自带的测试jar包HA模式运行环境搭建搭建步骤一、停...

目录为什么要重新编译？步骤一、下载Spark的源码二、准备linux环境，安装必须软件三、解压spark源码，修改配置，准备编译四、开始编译为什么要重新编译？由于我们所有的环境统一使用CDH的软件版本，并且对应的CDH版本是5.14.0这个版本，所以我们也直接下载使用对应的spark5.14.0版本即可。但是由于spark对应的5.14.0的CDH版本的软件spark的版本还停留在spark...

目录Spark概述官网Spark是什么？特点Spark架构模块主要架构模块Spark CoreSpark SQLSpark StreamingMLlibGraghX集群管理器主要运行角色MasterWorkerExecutorTaskApplicationJobclientDriverSpark运行模式Spark概述官网http://spark.apache.org/Spark是什么？...