- 博客(7)
- 收藏
- 关注
RSS订阅原创 Java String实例的创建和常量池的关系及intern方法
Java String实例的创建和各种常量池的关系 常量池 class文件常量池（class constant pool） class文件中除了包含类的版本、字段、方法、接口等描述信息外，还有一项信息就是常量池(constant pool table)，用于存放编译器生成的各种字面量(Literal)和符号引用(Symbolic References)。 字面量就是我们所说的常量概念，如文本字...
2019-04-11 11:45:52
583
4
原创 详解Spark核心算子 : aggregateByKey和combineByKey
详解Spark核心算子 : aggregateByKey和combineByKey aggregateByKey aggregateByKey有三种声明 def aggregateByKey[U: ClassTag](zeroValue: U, partitioner: Partitioner) (seqOp: (U, V) => U, combOp: (U, U) =&g...
2019-03-21 16:17:13
2491
原创 理解 Spark RDD 算子 aggregate
理解Spark核心算子aggregate def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): U 这个算子一共有两个参数列表，第一个参数列表中传递 （zeroValue） （第零个值）第二个参数列表中传递两个函数，第一个函数seqOp用于处理每个分...
2019-03-20 20:27:56
833
原创 字节跳动2019笔试题：奖品分配
字节跳动2019笔试——奖品分配 分数更高，奖品一定要更多，有可能出现分数一样但是奖品比他多的情况，搞不懂。 示例1： 输入 2 2 1 2 4 1 2 3 3 输出 3 8 当时没写出来，大致思路： 遍历分数数组，记录他们之间的奖品增量，最后奖品数量有正有负，计算最小的奖品数量到1的增量，全体奖品数量加这个增量。 只和前一个比，大的话，奖品就在前一个的基础上+1，小就-1，只改自己，一个一...
2019-03-17 15:48:34
2288
原创 scala中的class&object伴生对象和伴生类
scala中的class&object伴生对象和伴生类 scala中并没有像java一样同时拥有静态成员和非静态成员。 在scala中规定所有静态成员定义在object中，其他成员定义在class中 两个定义在同一个源文件中的，同名的，object和class， object是class的伴生对象 class是object的伴生类 为什么叫做伴生对象，我认为既然里面定义的都是静态的，那这...
2019-03-07 12:06:35
713
原创 Hadoop MapReduce reducerTask和partition的对应关系
谈一谈关于reducerTask和partition的对应关系 在hadoopMR中，许多人的理解就是partition和reduceTask的关系就是一对一，这样理解没错，通常情况下reduceTask的数量和partition就是一对一的关系，但是他们不是绝对一对一的关系，reduceTask的数量由job提交时设置的numreducretask决定。 partition只是决定这条数据应...
2019-02-28 11:42:45
1182
原创 Hadoop MapReduce Shuffle 过程解析
mapreduceShuffle过程解析 Shuffle过程是Mapreduce的核心，要想理解Mapreduce，Shuffle过程是必须了解的。 Shuffle的本义是洗牌，混乱，把一组有规则的数据转换成一组无规则的数据，Mapreduce中的shuffle更像是洗牌的逆过程，把map端处理完的数据规约到reduce端，更像是一个整合的过程，把相对无规则的数据转换成有规则的数据。 为什么M...
2019-02-28 10:46:50
710
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人