kxr0502-优快云博客

原创 typeof和instanceof的区别以及如何判断一个数组

首先要知道js的数据类型有六种： number，String，null（为空），undefined(未知的），boolean，object（Array属于object）typeof和instanceof都可以用来判断类型区别如下：1.typeof： typeof会返回一个变量的基本类型，只有以下几种：number,boolean,string,object,undefined

2017-06-22 17:48:48 2470

转载关于ie8浏览器的兼容性解决方案

1.ie6-ie8中不支持opacity透明度的解决方法: filter:progid:DXImageTransform.Microsoft.Alpha(opacity=70);2.ie8下json.stringify（）乱码： ie8内置了json对象，用以处理json数据。与标准方法不同的是，ie8的JSON.stringify会把utf-8字符转码：一般情况下，我

2017-06-22 17:09:00 1279

原创 Spark天堂之门

Spark天堂之门解密视频学习来源：DT-大数据梦工厂 IMF传奇行动视频本期内容： 1、Spark天堂之门 2、SparkContext使用案例借鉴 3、SparkContext内幕 4、SparkContext源码解密一、Spark天堂之门 1、Spark程序在执行的时候分为Driver和Executor两部分； 2、Spa

2016-02-05 23:21:21 861

原创 Master HA彻底解密

Master HA彻底解密视频学习来源：DT-大数据梦工厂 IMF传奇行动视频（后附王家林老师联系方式）本期内容： 1、MasterHA解析 2、Master HA的四种方式 3、Master HA的内部工作机制 4、Master HA的源码解析实际提交程序的时候，提交给作为Leader的Master；程序在运行前是粗粒度的资源分配模式，一般

2016-02-05 23:11:58 1927

原创 Spark RunTime内幕解密

第26课：SparkRuntime内幕解密本期内容：1 再论Spark集群部署2Job提交解密3Job的生成和接受4Task的运行5 再论Shuffle一、再论Spark集群部署1、从Spark Runtime的角度来讲由五大核心对象：Master、Worker、Executor、Driver、CoarseGrainedExecutorBackend;2、Spa

2016-02-05 22:55:55 1426 1

原创 Spark On Yarn彻底解密

Spark on yarn 彻底解密本期内容： 1、Hadoop yarn解密 2、Spark on yarn 解密一、Hadoop Yarn 解析 1、Yarn是Hadoop推出整个分布式（大数据）集群的资源管理器，负责资源的管理和分配，基于Yarn我们可以在同一个大数据集群上同时运行多个计算框架，例如Spark，MapReduce、Storm等;

2016-02-05 22:27:25 4757

原创 Spark Sort-Based Shuffle内幕彻底解密

Spark Sort-Based Shuffle内幕彻底解密本期内容：1 为什么使用Sort-Based Shuffle2 Sort-Based Shuffle 实战3 Sort-Based Shuffle 内幕4 Sort-Based Shuffle的不足一、为什么需要Sort Based Shuffle

2016-02-01 07:53:43 3588

原创 Hash-based Shuffle内幕彻底解密

Hash-based Shuffle内幕彻底解密视频学习来源：DT-大数据梦工厂 IMF传奇行动视频本期内容：1 Hash Shuffle彻底解密2 Shuffle Pluggable解密3 Sorted Shuffle解密4 Shuffle性能优化Shuffle：基本形态是将具有共同特征的一类数据洗牌后放在同一个

2016-02-01 07:40:12 1386

原创从物理执行的角度透视Spark Job

从物理执行的角度透视Spark Job视频学习来源：DT-大数据梦工厂 IMF传奇行动视频（后附王家林老师联系方式）本期内容：1 再次思考pipeline2 窄依赖物理执行内幕3 宽依赖物理执行内幕4 Job提交流程思考一：pipeline（计算两种方式）

2016-01-30 18:41:54 677

原创 RDD的依赖内部解密

RDD的依赖内部解密视频学习来源：DT-大数据梦工厂 IMF传奇行动视频（后附王家林老师联系方式）本期内容： RDD依赖关系的本质依赖关系下的数据流程图窄依赖：每个父RDD的Partition最多被子RDD的一个Partition所使用（例如map和filter、union）；宽依赖：每个父RDD中的Pa

2016-01-30 18:36:25 667

原创从Spark架构中透视job

从Spark架构中透视job视频学习来源：DT-大数据梦工厂 IMF传奇行动视频（后附王家林老师联系方式）本期内容：１、通过案例观察Spark架构２、手动绘制Spark内部架构３、Spark　Job逻辑视图解析４、Spark　Job的物理视图解析从Master角度讲： 1、管理CPU、MEM等资源（也考虑网络）

2016-01-30 18:26:34 621

原创 Linux Shell编程进阶案例实战（三）

Linux Shell编程进阶案例实战（三）本期内容：1 Linux Shell的控制结构实战2 Linux Shell的函数3 Linux Shell最佳实践4 Linux Shell在大数据中的应用if [ -z "${SPARK_HOME}" ]; then export SPARK_HOME="$(cd "

2016-01-30 10:30:26 1467

原创 Linux Shell零基础案例实战（二）

本期内容：1 Linux Shell的变量2 Linux Shell的控制结构3 Linux Shell的函数4 Linux Shell在大数据中的应用三、shell中变量和引用实战1、变量可以分为三种类型， 1）本地变量：只在当前shell生命周期内有效； 2）环境变量：指在用户登录到注销对于所有的编辑器、脚本、进程都有效；

2016-01-30 08:31:13 777

原创 linux shell编程零基础入门

Linux Shell零基础案例实战（一）本期内容：1 Linux Shell的变量2 Linux Shell的控制结构3 Linux Shell的函数4 Linux Shell在大数据中的应用查看bash版本：root@Master:/usr/local/spark/spark-1.6.0-bin-hadoop2.6/sbin#

2016-01-30 06:15:58 1553

原创 Top N 算法

Top N算法本期内容： 1、基础Top N 算法 2、分组Top N算法 3、排序算法 RangePartitionTop N（首先实现排序算法，一般否较为复杂），分组Top N 常见的算法。（只要是改变每一行列的数据，一般都是用Map操作）/** * Created by css-kxr on 2016/1/

2016-01-27 08:23:26 2501

原创 Spark高阶排序算法

第十九课：Spark高级排序算法彻底解密本期内容：1、基础排序算法2、二次排序算法3、更高级排序算法4、排序算法内幕准备：启动Hadoop：./start-dfs.sh启动history：./start-history-server.sh 启动spark：./start-all.sh启动spark-shell（实现广告点

2016-01-27 08:16:55 1258

原创 Hadoop生态系统窥探

大数据生态系统Hadoop+Spark=最有前途的大数据技术黄金组合！Hadoop完成了大数据时代基础设施的建设！Spark聚焦于一体化多元化的（大）数据通用计算框架！

2016-01-27 08:01:04 526

原创 RDD持久化、广播、累加器

RDD持久化、广播、累加器本期内容：1 action实战2 RDD持久化剖析及实战3 广播和累加器实战启动HDFS启动Spark-all.sh查看http://Master:18080启动Spark-shell 进行测试启动后，开始对action的操作（reduce、count、collect、saveAsTextFile、take、

2016-01-24 17:59:46 2406

原创 RDD案例实战

本期内容：1 map、filter、flatmap操作回顾2 reduceByKey、groupByKey3 join、cogroup以上算子都是lazy的，count 、collect、saveAsTextFile等是action对于的算子（1）map操作（将原来RDD的每个数据项通过map中的用户自定义函数f映射转变为一个新的

2016-01-23 10:17:25 1260

原创 RDD实战

第一阶段（1-3月）：会从浅入深，基于大量案例实战，深度剖析和讲解Spark，并且会包含完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、Spark、GraphX、SparkR、Machine Learning、Spark内核以及源码剖析、性能调优、企业级案例实战等部分第二阶段（S

2016-01-21 06:46:17 1100