- 博客(14)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 Spark程序的入口之SparkContext
今天讲的是sparkContext，这是spark程序的入口，每次写spark程序，首先你得: new sparkContext(conf)，参数里是sparkConf，也就是一些相关配置参数。SparkContext 允许driver 应用程序通过资源管理器访问集群，这个资源管理器可以是yarn，mesos，或者是spark集群管理器。sparkContext具体干哪些活呢？细节可...
2018-04-18 22:50:59
2789
1
原创 spark工作节点之Worker原理剖析
这节我们讲讲Worker，Worker 计算资源的实际贡献者，他要向Master汇报自身拥有多少cpu core和memory, 在master的指示下负责启动executor，executor 是执行真正计算的苦力，由master来决定该进程拥有的core和memory数值，Master 掌管整个cluster的资源，主要是指cpu core和memory，但Master自身并不...
2018-04-18 22:44:04
3124
原创 读《把时间当作朋友》
最近读了李笑来的《把时间当作朋友》，感悟颇深，大有一种跟作者相见恨晚的意思，感觉很多想法跟自己的甚是符合，于是把当下自己的一些感悟记录下来。 “道理我都懂，却依然过不好这一生”。这句话值得让人深思：第一，是真的能理解吗？看着那些成功人士侃侃而谈，感觉说得好有道理，可是很遗憾，这是别人的总结的道理，你没有类似的经历，根本不能深刻体会到；第二，顺利的时候，成功的时候，总结出来的经...
2018-04-18 22:31:16
267
原创 Spark任务执行者之Executor
这次讲的是Executor，啥是Executor呢？Executor是干什么的？ 当我们在生产环境中提交spark作业时，用spark-submit shell脚本里，往往需要指定一个参数：--num-executors，你可以指定为3，5。。。这难道是随便指定的？爱设多少就设多少？很显然，答案是no，首先你得根据你集群的资源情况来设定。那我们就有必要来弄清楚这个是什么...
2018-04-12 14:42:11
1512
原创 什么是核心竞争力
最近脑子总是在乱想，也总是在迷惑，看了几本人物传记类的书籍，我常常在想，作为一个人，或者说一个人才，他的核心竞争力是啥？石油大王洛克菲勒说过这么一句话：“如果把我身上的衣服全部都剥光，一个子儿都不剩，然后把我扔到大沙漠去，这时只要一支商队经过，那我又会成为亿万富翁。”为啥他会这么自信？钱对他来说真的只是身外之物，即使没了这些，他依然能再次做到成为亿万富翁。“中年危机”这个词，不知道困扰...
2018-04-12 14:31:45
528
原创 Spark军师之DAGScheduler
搬个凳子，捧着瓜子，让我们开始唠嗑。 首先，字面解读下“DAGScheduler”，可以理解为是一个DAG调度器，DAG又是啥呢？学术名叫：有向无环图。一个spark应用程序提交，spark引擎就是通过DAGScheduler将其切分成一个个stage。让我们先来看看DAGScheduler是在哪里起的作用的。经典图： 那这个DAGScheduler的职能到底是什么呢...
2018-04-12 13:38:13
1978
原创 RDD详解_1
今天讲的是RDD。RDD是个相当抽象的概念，它是一个逻辑概念，并不是很好理解，但它确实整个spark里的一个非常核心的东西，甚至不夸张的讲，就通过RDD这个概念就能把spark整个底层机制给串起来。RDD, 英文名：residenta distributed dataset， 弹性分布式数据集。下面，就是展示我语文功底的时候了。就分析这个词，就让你知道RDD的特性。 弹性 分布式 数据集...
2018-04-12 13:23:07
721
原创 来，我教你spark
首先推出的spark系列，为啥要学习spark呢？spark是基于内存计算，速度更快，更时髦？spark是All-in-one，集成了流式计算（spark Streaming），即席查询（spark SQL）, 机器学习（MLlib), 图处理（GraphX）于一身？不，仅仅就因为： 当然了，如果努力学习，却只是得了个“B”,那么效果确实不太好，针对前段时间对spark实践...
2018-04-12 13:18:10
706
原创 线性回归之数学原理解析
主要内容：1.模型数学表达式2.模型目标函数3.求模型参数极大似然估计（MLE）贝叶斯最大后验估计（MAP）1.模型公式：y = wx +b 从一维到n维：h_{\theta}(x) = \sum_{i=0}^{x}{\theta_{i}x_{i}} = \theta^{T}x 2.目标函数：（或者叫“损失函数”，就是度量预测值和真实值的差距）J(\theta) = \frac{1}{2}\su...
2018-04-05 12:07:24
1979
原创 程序员接私活完整攻略
接私活对程序员这个圈子来说是一个既公开又隐私的话题，不说全部，应该大多数程序员都有过想要接私活的想法，当然，也有部分得道成仙的不主张接私活。但是很少有人在公开场合讨论私活的问题，似乎都在避嫌。就跟有人下班后跑滴滴一样，程序员私有时间接点活挣点钱不也很正常么，不过不要在上班时间就行，就跟你上班期间出去跑滴滴一样。当你竭尽全力想要去接私活的时候一定做过这样的事，百度搜索“程序员如何接私活...
2019-03-14 18:36:45
555
原创 Flink on Yarn启动流程分析-1
总体架构：源码分析要点：1.客户端执行启动脚本； 2.启动AppMaster; 3.启动Resource Manager & JobManager; 4.启动Node Manager & TaskManager; 5.集群启动完毕后与客户端的交互。今天先分析第一部分------------------------------------1.客户端执行...
2019-03-14 18:28:25
496
原创 程序员，停止你的焦虑
程序员行业是一个焦虑高危的行业，为什么这么说呢？首先是这个行业的特性决定的：1. 高速发展，从移动互联网的火爆，安卓,ios开发，到大数据，人工智能，以及区块链。身处这个行业，你能感觉技术的发展是如此迅猛，一个接一个的新名词，一个接一个的新技术；2. 外加中国特色的“程序员到30岁，35岁就找不到工作了”，仿佛告诉你说，你再过几年你就要流浪街头了，做技术没啥出路；3. 所谓的“高薪”...
2018-05-02 17:45:02
1714
1
转载 今日头条 CEO 张一鸣：面试了 2000 个年轻人，混得好的都有这 5 种特质
正文 张一鸣算是 80 后中绝对的佼佼者。1983 年出生的张一鸣 ，在 2005 年从南开大学毕业后，至今参与创办了 5 家公司，2013 年，他先后入选《福布斯》“中国 30 位 30 岁以下的创业者”和《财富》“中国 40 位 40 岁以下的商业精英”，是目前国内互联网行业最受关注的青年领袖之一。2016 年 7 月 26 日，艾瑞发布 2016 中国独角兽企业估值榜单，今日头条以 92....
2018-04-04 23:12:31
5080
原创 数据结构－－树（一）
说起数据结构与算法，这让我想起了大学的那段青葱岁月，那时候的我偶尔还会捧起严蔚敏老师的那本《数据结构》，沉醉于这些精巧的设计：栈，队列，树，堆，图。。。那时候的我还能写出冒泡，快排，堆排序。。。 之前出去面试要我写一个判断一棵树是不是二叉搜索树，我甚至是拒绝的，总觉得面试官太过装逼，这些东西好久没用到，你让我来个二叉搜索，我得先问你：什么是二叉搜索树？虽然脸上笑嘻嘻，实则心里...
2018-04-04 21:55:54
213
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人