CoderBoom的博客

1. MapReduce并行度机制详解 maptask并行度机制 : 逻辑规划 (逻辑切片) 时间 : 客户端提交mr程序之前 main(客户端) , job.submit() 地点 : 客户端 参与者 : 待处理数据目录 FileInputFormat.getSplits() 规则 : 对待处理目录下逐个遍历文件 , 以切片大小对文件进行逻辑规划 ​ split size == bl...

Spark on Yarn 1. 官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html 2. 配置安装 1.安装hadoop：需要安装HDFS模块和YARN模块，HDFS必须安装，spark运行时要把jar包存放到HDFS上。 2.安装Spark：解压Spark安装程序到一台服务器上，修改spark-env.sh配置文件，spa...

kafka入门学习笔记 1、目标 1、掌握kafka相关概念 2、掌握搭建一个kafka集群 3、掌握kafka生产者和消费者代码开发 4、掌握kafka的分区策略 5、掌握kafka整合flume 6、掌握kafka如何保证消息不丢失 2、kafka概述 2.1 kafka是什么 kafka是由linkedin开源，捐献apache基金会，它是一个实时的分布式消息队列。 它提供了一个对于实时...