6、Hadoop集群配置与管理全攻略

Hadoop集群配置与管理全攻略

1. Hadoop集群任务内存配置

在配置Hadoop集群时，任务内存的合理分配至关重要。例如，若一个从节点主机有4GB内存，我们配置了6个Map槽和6个Reduce槽，每个槽分配512MB内存。可通过公式“6 x 512 + 6 x 512 = 6GB”计算出总配置任务内存。由于6GB大于系统的4GB内存，系统将无法启动。为解决此问题，可将Map槽和Reduce槽数量从6个减少到3个，这样总配置内存为3GB，小于系统总内存4GB，MapReduce守护进程就能成功启动。

2. ZooKeeper配置

ZooKeeper为维护配置信息、命名、提供分布式同步和组服务提供了高度可靠的集中式服务。以下是安装和配置ZooKeeper的步骤：
1. 确保Hadoop已正确配置，从Hadoop管理员机器以hduser身份登录主节点：

ssh hduser@master

2. 下载ZooKeeper归档文件：

wget http://www.gtlib.gatech.edu/pub/apache/zookeeper/stable/zookeeper-3.4.5.tar.gz -P ~/repo

3. 复制下载的归档文件到 /usr/local ：