- 博客(24)
- 收藏
- 关注
RSS订阅转载 Spark Streaming源码解读之Receiver在Driver的精妙实现全生命周期彻底研究和思考
一：Receiver启动的方式设想1. Spark Streaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driver端，由此每个Batch Durations就可以根据汇报的数据生成不同的Job。2. Receiver属于Spark Streaming应用程序启动阶段，那么我们找Receiver在哪里启动就应该去找Spark Streaming的启动。...
2016-06-30 22:34:00
168
转载 Spark IMF传奇行动第22课：RDD的依赖关系彻底解密
版权声明：本文为博主原创文章，未经博主允许不得转载。作者：HaiziS 昨晚听了王家林老师的Spark IMF传奇行动第22课：RDD的依赖关系彻底解密，笔记如下： 1,窄依赖是指每个父RDD的一个Partition最多被子RDD的一个Partition所使用，例如map、filter、union等都会产生窄依赖； 2宽依赖是指一个父RDD的Partition会被多个子RDD...
2016-01-30 11:51:00
140
转载 Spark IMF传奇行动第21课：从Spark架构中透视Job
版权声明：本文为博主原创文章，未经博主允许不得转载。作者：HaiziS 昨晚听了王家林老师的Spark IMF传奇行动第21课：从Spark架构中透视Job，笔记如下： 默认一个worker有一个executor，也可以设置多个，当cpu利用不足时。 并行度也是被继承的 当Spark集群启动的时候，首先启动Master进程负责整个集群资源管理和分配并接受作业的提交且为作业分...
2016-01-28 23:29:00
141
转载 Spark IMF传奇行动第20课：top N总结
版权声明：本文为博主原创文章，未经博主允许不得转载。作者：HaiziS 今晚听了王家林老师的Spark IMF传奇行动第20课：top N，作业是：scala写topGroup，且对组名key排序 代码如下: def main(args: Array[String]){ val conf = new SparkConf() //创建SparkConf对象 ...
2016-01-26 00:07:00
127
转载 Spark IMF传奇行动第19课：spark排序总结
今晚听了王家林老师的Spark IMF传奇行动第19课：spark排序，作业是：1、scala 实现二次排序，使用object apply 2；自己阅读RangePartitioner 代码如下: /** * Created by 王家林 on 2016/1/10. */ object SecondarySortApp { def main(args: Arra...
2016-01-24 22:59:00
97
转载 Spark IMF传奇行动第18课：RDD持久化、广播、累加器总结
昨晚听了王家林老师的Spark IMF传奇行动第18课：RDD持久化、广播、累加器，作业是unpersist试验，阅读累加器源码看内部工作机制： scala> val rdd = sc.parallelize(1 to 1000) rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at para...
2016-01-24 11:49:00
112
转载 Spark IMF传奇行动第17课Transformations实战总结
今晚听了王家林老师的Spark IMF传奇行动第17课Transformations实战，作业是用SCALA写cogroup： def main(args: Array[String]): Unit = { val sc = sparkContext("Transformations") cogroupTrans(sc) sc.stop() ...
2016-01-23 01:08:00
105
转载 Spark IMF传奇行动第16课RDD实战总结
今晚听了王家林老师的Spark IMF传奇行动第16课RDD实战，课堂笔记如下： RDD操作类型：Transformation、Action、Contoller reduce要符合交换律和结合律 val textLines = lineCount.reduceByKey(_+_,1) textLines.collect.foreach(pair=> println(pa...
2016-01-21 00:33:00
95
转载 Spark3000门徒第15课RDD创建内幕彻底解密总结
今晚听了王家林老师的第15课RDD创建内幕彻底解密，课堂笔记如下： Spark driver中第一个RDD：代表了Spark应用程序输入数据的来源.后续通过Transformation来对RDD进行各种算子的转换实现算法 创建RDD的方法：1，使用程序中的集合创建RDD;2，使用本地文件系统创建RDD；3，使用HDFS创建RDD 4，基于DB创建RDD5，基于NoSQL,例如HBas...
2016-01-18 23:16:00
95
转载 Spark3000门徒第14课spark RDD解密总结
今晚听了王家林老师的第14课spark RDD解密，课堂笔记如下： Spark是基于工作集的应用抽象，RDD：Resillient Distributed Dataset是基于工作集的，spark可以对结果重用。 位置感知：spark比hadoop更精致。 RDD是lazy的，是分布式函数式编程的抽象，RDD可以看做一个只读的List或者Array。产生的中间结果怎么办? 不能让 ...
2016-01-17 23:44:00
147
转载 Spark3000门徒第13课Spark内核架构解密总结
昨晚听了王家林老师的第13课Spark内核架构解密，课堂笔记如下： executor中线程池并发执行和复用，Spark executor, backed by a threadpool to run tasks. 默认一个work为一个Application只开启一个executor。一个worker里executor是多点好还是少点好，看具 体情况。 Worker:管理当前Nod...
2016-01-17 14:41:00
171
转载 Spark3000门徒第12课Spark HA实战总结
今晚听了王家林老师的第12课Spark HA实战，课堂笔记以及作业如下： Spark HA需要安装zookeeper，推荐稳定版3.4.6. 1.下载zookeeper3.4.6，2.配置环境变量3.创建data logs4.vi conf/zoo.cfg5 data目录中创建myid spark-env.sh 配置HA ： export SPARK_DAEMON_JAVA_O...
2016-01-16 00:43:00
135
转载 Spark3000门徒第11课彻底解密WordCount运行原理总结
今晚听了王家林老师的第11课：彻底解密WordCount运行原理，课堂笔记以及作业如下： 在第一个Stage中， def textFile( path: String, minPartitions: Int = defaultMinPartitions): RDD[String] = withScope { assertNotStoppe...
2016-01-13 23:40:00
208
转载 Spark3000门徒第10课Java开发Spark实战总结
今晚听了王家林老师的第10课Java开发Spark实战，课后作业是：用Java方式采用Maven开发Spark的WordCount并运行在集群中 先配置pom.xml <groupId>com.dt.spark</groupId> <artifactId>SparkApps</artifactId> <version>...
2016-01-12 00:17:00
209
转载 Spark3000门徒第9课IDEA中开发Spark实战总结
今晚听了王家林老师的第9课IDEA中开发Spark实战，课后作业是：在Idea中编写广告点击排名的程序并提交集群测试， IDEA社区版本就够用，Ultimate没必要还要钱 程序如下： object WordCountCluster { def main(args: Array[String]){ /** * 第一步：创建spark的配置对象Spar...
2016-01-10 22:38:00
156
转载 Spark3000门徒第8课IDE中开发Spark实战总结
今晚听了王家林老师的第8课IDE中开发Spark实战，课后作业是：在Eclipse中编写广告点击排名的程序并测试，程序如下： object WordCountCluster { def main(args: Array[String]){ /** * 第一步：创建spark的配置对象SparkConf，设置Spark程序的运行时的配置信息 *...
2016-01-10 02:02:00
151
转载 Spark3000门徒第七课Spark运行原理及RDD解密总结
今晚听了王家林老师的第七课Spark运行原理及RDD解密，课后作业是：spark基本原理，我的总结如下： 1spark是分布式 基于内存 特别适合于迭代计算的计算框架 2mapReduce就两个阶段map和reduce，而spark是不断地迭代计算，更加灵活更加强大，容易构造复杂算法。 3spark不能取代hive，hive做数据仓库存储，spark sql只是取代hive的...
2016-01-09 00:36:00
208
转载 Spark3000门徒第六课精通Spark集群搭建总结
今晚听了王家林老师的第六课精通Spark集群搭建和测试，课后作业是：搭建自己的spark环境并成功运行pi，我的总结如下： 1 硬件环境： 至少8GB内存，推荐金士顿内存，虚拟机推荐Ubuntu kylin版本，可以安装各种办公软件包括搜狗输入法。上网方式：Nat,root权限登录，避免权限问题 2.软件环境： RedHat 6.4 spark 1.6.0 hadoop 2...
2016-01-06 22:24:00
201
转载 Spark3000门徒第五课scala隐式转换和并发编程总结
今晚听了王家林老师的Spark 3000门徒系列第五课scala隐式转换和并发编程，课后作业是：分析DAGScheduler Master Worker RDD源码中隐式转换和Actor并发编程，我的见解如下： 隐式函数，隐式参数最常见，隐式对象和隐式类少见 RDD中方法： def distinct(numPartitions: Int)(implicit ord: Orderin...
2016-01-05 23:21:00
163
转载 Spark 3000门徒第四课scala模式匹配和类型参数总结
今晚听了王家林老师的Spark 3000门徒系列第四课scala模式匹配和类型参数，总结如下： 模式匹配：def data(array:Array[String]){ array match{ case Array(a,b,c) => println(a+b+c) case Array("spark",_*) => //匹配以spark为第一元素的数组 ca...
2016-01-05 00:25:00
126
转载 Spark 3000门徒第三课scala高阶函数总结
今晚听了王家林老师3000门徒spark系列课程的第三课，讲述了scala函数，下面写一下心得： 普通函数：def fun1(name:String){println(name)} 函数赋值给变量：val fun1 = functionName _ 匿名函数：val fun2 = (name:String) => prinln(name) 高阶函数：def bigData(...
2016-01-04 00:17:00
154
转载 Spark 3000门徒第二课scala面向对象总结
昨晚听了王家林老师3000门徒spark系列课程的第二课，讲述了scala面向对象知识，并且带着过了一遍Spark核心类：SparkContent，RDD的代码，下面写一下心得： RDD是抽象类，实现了Serializable和Logging接口，有很多类继承了RDD类来实现不同功能的RDD。 SparkContent默认构造器传入config:SparkConf 实现了Loggi...
2016-01-03 16:05:00
124
转载 Spark 3000门徒第一课随笔
昨晚听了王家林老师的Spark3000门徒系列课程的第一课，把scala基础过了一遍，对ArrayBuffer有了新的认识： Array本身创建后不可修改ArrayBuffer可修改import scala.collection.mutable.ArrayBufferval arrB = ArrayBuffer[int]()arrB += 10arrB += (11,12,13,5)...
2016-01-02 12:37:00
159
转载 spark视频课程下载链接
王家林的第一个中国梦：免费为全社会培养100万名优秀的大数据从业人员！ 您可以通过王家林老师的微信号18610086859发红包捐助大数据、互联网+、O2O、工业4.0、微营销、移动互联网等系列免费实战课程， 目前已经发布的王家林免费视频全集如下： 1，《大数据不眠夜：Spark内核天机解密（共100讲）》：http://pan.baidu.com/s/1eQsHZAq 2，《H...
2015-11-10 15:58:00
311
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人