u013998466的博客

SparkStreaming的状态管理，官方推出的有1.6版本之前的 updateStateByKey 和1.6版本之后的 mapWithState。但是都有一个共同的弊端，就是会生成大量的小文件，需要手动合并。故此，使用redis来存储state是一个很好的选择。WordCount案例object TestState { def main(args: Array[String]): Unit = { val sparkConf: SparkConf = new SparkConf().s

spark算子：map,mapPartitions,mapPartitionsWithIndex,flatMap,glom,groupBy,filter,sample,distinct,coalesce,repartition,sortBy,union,subtract,intersection,zip,partitionBy,groupByKey,reduceByKey,aggregateByKey,foldByKey,combineByKey,sortByKey,mapValues,join,cogro

Spark任务划分在RDD中，任务可切分为：Application、Job、Stage、Task。Application：初始化一个SparkContext即生成一个Application，通常一个main函数就是一个Application；Job：一个Action算子就会生成一个Job，常用Action算子包括reduce、aggregate、collect、first、take、fore...

本文主要用来描述如何用Spark读取Mysql超百万甚至千万数据量的大表。经过测试，spark读取1千万数据量的mysql表写到hive中，整个job运行只需1.6分钟。开始参考这篇文章的写法读取mysql【spark jdbc分区并发读取 mysql 大表】，但是只适合读取数字型的主键或者要写死分区，不管是从实际需求还是代码层面来说都显得不够优秀。于是就想到了用mysql分页读取的方法来改进。这种方法无需关注分区字段的类型，也无需写死分区，可以根据配置进行动态分区读取。

1. 根据项目需要添加依赖；服务器上已经有大数据组件的依赖都无需打包依赖，所以可以在依赖加上<scope>provided</scope>2. 如果使用IDEA，在本地运行项目时要在运行配置勾选【Include dependencies with “Provided” scope】，否则会编译出错以下是POM.xml文件<?xml version="1.0" ...

Spark读写Hive/Mysql/Hbase/KafkaSpark读写Hive/Mysql/Hbase/Kafka一、工具类、配置类（一）SparkUtils (SparkSession启动类)（二）ConnectUtils (连接/配置参数工具类)二、Mysql to Hive三、Hbase to Hive四、Hive to Hive五、Kafka to Hive/Hbase/Kafka（一）...