横行的螃蟹的博客

Centos 7 hadoop2.8.4搭建 在多搭建了几遍之后发现还是挺简单的，如果仅仅搭建hadoop的话,虚拟机用VMware创建。本文中所有操作均使用root用户，并未创建hadoop用户 一 环境配置 1. 首先我们要将Ip设置好 ``` # 每个系统上的文件名可能不一致,不过都是ifcfg-en开头的注意一下就行 vi /etc/sysconfig/network-scrip...

一、 Map端shuffle 输入数据和执行Map任务 通过自定义Map，将输入<key,value>转换成新的<key,value>并输出 写入缓存 每个map任务都会分配一个缓存区（通过环形队列实现），默认100M，首先将map的输出写入缓存，当达到一定数量是会一次性批量写入磁盘，以减少磁盘IO操作 溢写（分区，排序，和并） 因为缓存区大小有限，为不影Map结果的写...

Zookeeper 搭建 前置环境：Centos7+hadoop-2.8.4 tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module #文件解压目录可根据需求更改 重命名并且更改配置文件 cd zookeeper-3.4.10.tar.gz/conf mv zoo_sample.cfg zoo.cfg vi zoo.cfg # The numbe...