开水烫鱼的博客

新版本和老版本区别 之前老版本通过直连维护偏移量使用的Api和新版的不一样，老版本不自行维护偏移量的话是自动维护到zk中 新版会把偏移量维护到kafka中 老版本实现 https://blog.youkuaiyun.com/qq_33598343/article/details/87905091 新版本实现 https://www.it610.com/article/1288775916218032128.htm ...

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-hive --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.11</artifactI...

https://blog.youkuaiyun.com/a11a2233445566/article/details/54633033?utm_source=distribute.pc_relevant.none-task

窗口操作 窗口：对落在窗口内的数据进行处理，也是一个DStream，RDD 举例：每10秒钟把过去30秒的数据采集过来 代码实现 窗口滑动距离(reducebykeyandwindow的参数)必须是采样时间的整数倍(steamingcontext的参数) 业务场景 1.计算一天内接口的调用次数 窗口滑动距离：1天 ...

Spark 调优 Spark 性能优化概览: Spark的计算本质是，分布式计算。 所以，Spark程序的性能可能因为集群中的任何因素出现瓶颈：CPU、网络带宽、或者内存。 CPU、网络带宽，是运维来维护的。 聚焦点：内存。 如果内存能够容纳下所有的数据，那就不需要调优了。 如果内存比较紧张，不足以放下所有数据（10亿量级---500G）,需要对内存的使用进行性能优化。 比如：使用某些方法减少...

源码分析 https://blog.youkuaiyun.com/houmou/article/details/52491419

bject KafkaDirectWordCount { def main(args: Array[String]): Unit = { //1.创建sparkStreaming程序入口 val conf: SparkConf = new SparkConf().setAppName("KafkaDirectWordCount") .setMaster("local...

cache scala&gt; val rdd = sc.textFile("/root/tecont.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_) rdd: org.apache.spark.rdd.RDD[(String, Int)] = ShuffledRDD[19] at reduceByKey at &lt;console...

将数据导入到mysql object UrlGroupCount1 { def main(args: Array[String]): Unit = { //1.创建spark程序入口 val conf: SparkConf = new SparkConf().setAppName(&quot;UrlGroupCount1&quot;).setMaster(&quot;local[2]&quot;) val s...

WordCount object WordCount { def main(args: Array[String]): Unit = { //1.创建sparkContext val conf = new SparkConf().setAppName("WordCount").setMaster("local[2]") val sc = new SparkContext...

以mysql作为数据源 object JdbcSource { def main(args: Array[String]): Unit = { //1.sparkSQL 创建sparkSession val sparkSession: SparkSession = SparkSession.builder().appName("JdbcSource") .mast...

SQL风格的操作 通过封装数据和创建描述表信息来创建DataFrame，然后注册表 （最基本的） object SqlTest1 { def main(args: Array[String]): Unit = { //1.构建SparkSession val sparkSession = SparkSession.builder().appName(&amp;amp;quot;SqlTest1&amp;amp;quot;) ...

需求： 数据： 20180724101954 http://java.itstar.com/java/course/javaeeadvanced.shtml 20180724101954 http://java.itstar.com/java/course/javaee.shtml 20180724101954 http://java.itstar.com/java/course/android....

spark高级算子 1）mapPartionWithIndex(func) 设置分区，并且查看每个分区中存放的元素 查看每个分区中元素 需要传递函数作为参数 val func = (index:Int,iter:Iterator[(Int)]) =&gt; {iter.toList.map(x =&gt;"["+ "partID:" + index + "," + "datas:" + x + ...

启动spark­shell 本地模式：bin/spark-shell 集群启动：bin/spark-shell --master spark://spark-01:7077 –total-executor-cores 2 –executor-memory 500mb spark集群角色 |Yarn |Spark |作用| |ResourceManage | Master |...

Spark概述 官网：http://spark.apache.org/ Apache Spark™是用于大规模数据处理的统一分析引擎。 为大数据处理而设计的快速通用的计算引擎。 Spark加州大学伯克利分校AMP实验室。不同于mapreduce的是一个Spark任务的中间 结果保存到内存中。 空间换时间。 Spark启用的是内存分布式数据集。 用scala语言实现，与spark紧密继承。用scal...