搁浅记忆的博客

1为什么要编译hadoop 由于appache给出的hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题,需要对Hadoop源码包进行重新编译. 2编译环境的准备 2.1：准备linux环境 准备一台linux环境，内存4G或以上，硬盘40G或以上，我这里使用的是Centos6.9 64位的操作系统（注意：一定要使用64位的操作系统） 2.2：虚拟机联网，关闭防火墙，关闭selinux 关闭防火墙命令： servi.

这里操作Zookeeper的JavaAPI使用的是一套zookeeper客户端框架 Curator ，解决了很多 Zookeeper客户端非常底层的细节开发工作 。 Curator包含了几个包： curator-framework：对zookeeper的底层api的一些封装 curator-recipes：封装了一些高级特性，如：Cache事件监听、选举、分布式锁、分布式 计数器等 Maven依赖(使用curator的版本：2.12.0，对应Zookeeper的版本为：3.4.x，如

1. zookeeper的数据模型 ZooKeeper 的数据模型，在结构上和标准文件系统的非常相似，拥有一个层 次的命名空间，都是采用树形层次结构. ZooKeeper 树中的每个节点被称为—个Znode。和文件系统的目录树一样，ZooKeeper 树 中的每个节点可以拥有子节点。 但也有不同之处： 1. Znode 兼具文件和目录两种特点。既像文件一样维护着数据、元信息、ACL、 时间戳等 数据结构，又像目录一样可以作为路径标识的一部分，并可以具有 子 Znod.

Zookeeper 3.1 分布式安装部署 1）集群规划 在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。 2）解压安装 （1）解压Zookeeper安装包到/opt/module/目录下 [atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/ （2）修改/opt/module/apache-zookeeper-3.5.7-bin名称为zookee

JDK准备 使用命令：sudo rpm -qa | grep -i java 可查看是否有需要卸载的JDK rpm安装包 1）卸载现有JDK（3台节点） [atguigu@hadoop102opt]#sudo rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps [atguigu@hadoop103opt]#sudo rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodep...

第1章虚拟机环境准备 1）准备三台虚拟机，虚拟机配置要求如下： （1）单台虚拟机：内存4G，硬盘50G （2）修改克隆虚拟机的静态IP [root@hadoop102~]#vim /etc/sysconfig/network-scripts/ifcfg-ens33 改成 DEVICE=ens33 TYPE=Ethernet ONBOOT=yes BOOTPROTO=static NAME="ens33" PREFIX=24 IPADDR=192.168.1.102 GAT...