weixin_42102379的博客

一、Spark简介 Apache Spark是一个分布式计算框架，旨在简化运行于计算机集群上的并行程序的编写，该框架对资源调度，任务的提交、执行和跟踪，节点间的通信以及数据并行处理的内在底层操作都进行了抽象。它提供了一个更高级别的API用于处理分布式数据。从这方面说，它与Apache Hadoop等分布式处理框架类似。但在底层架构上， Spark与它们有所不同。 Spark起源于加利福利亚大学伯克...

1、Json数据源 Spark SQL可以自动推断JSON文件的元数据，并且加载其数据，创建一个DataFrame。 可以使用SQLContext.read.json()方法，针对一个元素类型为String的RDD，或者是一个JSON文件。 注意：这里使用的JSON文件与传统意义上的JSON文件不同。每行都必须，也只能包含一个单独的、自包含的、有效地JSON对象。不能让一个JSON对象分散在多行...

1、什么是HiveContext Spark SQL支持对Hive中存储的数据进行读写 操作Hive中的数据时，必须创建HiveContext（HiveContext也是已经过时的不推荐使用，嘤嘤嘤~还没学好就已经过时了）。HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及HiveSQL语法编写SQL的功能。除了sql()方法，HiveContext还提...

1、使用jdbc数据源 Spark SQL支持使用JDBC从关系型数据库中读取数据。读取的数据又DataFrame表示，可以很方便地使用Spark Core提供的各种算子进行处理。 java版本 Map<String,String> options = new HashMap<String,String>(); options.put("url","jdbc:mysql...

一、RDD转换成DataFrame 1、为什么要将RDD转换成DataFrame 转换成DataFrame之后就可以直接针对HDFS等任何可以构建为RDD的数据，进行Spark SQL进行SQL查询了。 2、Spark SQL支持两种方式来将RDD转化成DataFrame 使用反射来推断包含了特定数据类型的RDD的元数据 这种基于反射的方法，代码比较简洁，当你已经知道你的RDD的元数据时，是一种...

一、通用的load和save操作的作用 对于Spark SQL和DataFrame来说，无论是从什么数据源创建出来的DataFrame，都有一些共同的load和save操作。 可以将一份数据load出来，变成一个DataFrame，然后可以对这个DataFrame执行一些查询筛选等操作，然后save到其他路径中。 load操作主要用于加载数据，创建出DataFrame； save操作，主要用户将D...

一、Parquet简介 1、what Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发 2、why 列式存储和行式存储相比的优势： 可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量 压缩源码可以降低磁盘存储空间。 由于同一列的数据类型是一样的，可以使用更高效的压缩编码（比如Run Length Encoding 和 Delta Encoding）...

1、表分区 表分区是一种常见的优化方式。比如hive中就提供了表分区的特性。 在一个分区表中，不同分区的数据通常存储在不同目录中，分区列的值通常就包含在了分区目录的目录名中。 SparkSQL中的Parquet数据源，支持自动根据目录名推断出分区信息。例如，如果将人口数据存储在分区表中，并且使用性别和国家作为分区列，那么目录结构可能如下所示 tableName |- gender=male ...

1、使用场景 如同ProtocolBuffer，Avro，Thrift一样，Parquet也是支持元数据合并的。 用户可以在一开始就定义一个简单的元数据，然后随着业务的需要，逐渐往元数据中添加更多的列。在这种情况下，用户可能会创建多个Parquet文件，有着多个不同的但是却互相兼容的元数据。Parquet数据源支持自动推断出这种情况，并且进行多个Parquet文件的元数据的合并。 2、 开启Par...

一、Spark内核架构 1、Application 2、spark-submit 3、Driver 4、SparkContext 5、Master 6、Worker 7、Executor 8、 Job 9、DAGScheduler 10、TaskScheduler 11、ShuffleMap Task and Resut Task 二、Spark内核运行流程 Application： 写完的Spa...

一、案例需求： 1、对文本文件内的数字，取最大的前3个 2、对每个班级内的学生成绩，取出前3名(分组取topn) 二、top(n) java /** * 案例需求 * 对文本文件内的数字，取最大的前3个 */ public class Top_N { public static void main(String[] args) { SparkConf conf =...

Spark集群由两类程序构成： 一个驱动程序 多个执行程序 本地模式：所有的处理都运行在同一个JVM内； 集群模式：它们通常运行在不同的节点上。 一个采用单机模式的Spark集群（即使用Spark内置的集群管理模块）通常包括： 一个运行Spark单机主进程和驱动程序的主节点； 各自运行一个执行程序进程的多个工作节点。 在本书中，我们将使用Spark的本地单机模式做概念讲解和举例说明，但所用...

一、SparkContext类与SparkConf类 1. 两个类的作用和关系 任何Spark程序的编写都是从SparkContext（或用Java编写时的JavaSparkContext）开始的； SparkContext的初始化需要一个SparkConf对象，后者包含了Spark集群配置的各种参数（比如主节点的URL）。 2. 两个类的具体使用 初始化后，可用SparkContext对象所...

一、Spark常用算子 常用的Transformation操作算子主要如下： 1、map 2、filter 3、flatMap 4、groupByKey 5、reduceByKey 6、sortByKey 7、join 8、cogroup 常用的action操作算子主要如下： 1、reduce 2、collect 3、count 4、take(n) 5、saveAsTextFile 6、c...

窄依赖： Narrow Dependency。一个RDD，对它的父RDD只有简单的一对一的依赖关系，也就是说RDD的每个partition仅仅依赖于父RDD中的一个partition，父RDD和子RDD的partition之间的对应关系是一对一的； 宽依赖： Shuffle Dependency。本质就是Shuffle。也就是说每一个父RDD的partition中的数据，都有可能传输一部分，到下一...

1、RDD持久化的原理 Spark非常重要的一个功能特性，就是可以将RDD持久化到内存中，当对RDD执行持久化操作时，每个节点都会将自己操作的RDD的partition持久化到内存中，并在在之后对该RDD的反复使用中，直接使用内存缓存的partition。这样对于针对一个RDD的反复执行多个操作的场景，就只要对RDD计算一次即可，后面直接使用该RDD，而不需要反复计算多次该RDD。 2、RDD持久...

一、共享变量工作原理 Spark一个非常重要的特性就是共享变量。 默认情况下，如果在一个算子的函数中使用的到了某个外部变量，那么这个变量的值会被拷贝到每个task中。此时每个task只能操作自己的那份变量副本。如果多个task想要共享某个变量，那么这种方式是无法做到的。 Spark为此提供了两种共享变量。一种是Broadcast Variable（广播变量），另一种是Accumulator（累加变...

1、案例需求 （1）对文本文件内的内阁单词都统计出其出现的次数 （2）按照每个单词出现次数的数量，降序排序 2、实战开发 java版本 /** * 排序的wordcount程序 * */ public class SortWordCount { public static void main(String[] args) { //创建SparkConf和JavaS...

Action算子 常用的action操作算子主要如下： 1、reduce 2、collect 3、count 4、take(n) 5、saveAsTextFile 6、countByKey 7、foreach java版本 public class ActionOperation { public static void main(String[] args) { //...

一、大数据实时计算原理 二、Spark Streaming 1、SparkStreaming简介 Spark Streaming是SparkCore API的一种扩展，可以用于进行大规模，高吞吐，容错的实时数据流的处理，支持从很多数据源中读取数据， 必粗Kafka,FlumeTwitter,ZeroMQ或者是TCP Socket。并且能够使用类似高阶函数的复杂算法来进行数据的处理，比如map、r...