<
| 序号 | 步骤内容 | 备注 | ||
| 1 | 修改Linux相关文件 | |||
| 2 | 安装Hadoop,并修改Hadoop的配置文件 | |||
| 3 | 安装并启动zooKeeper集群 | |||
| 4 | 格式化ZK和HDFS | |||
| 5 | 启动HDFS | |||
| 步骤 0 : | 前言 | |||
| 步骤 1 : | 修改Linux相关文件 | |||
| 步骤1.1:修改主机名称 | ||||
| 依次修改集群中其它主机的主机名称 | ||||
| 步骤1.2:集群间做ssh免密设置 | ||||
| 1).在cluster1上生成ssh密钥,然后ssh-copy-id到cluster1--cluster7 | ||||
| 2).在cluster2上生成ssh密钥,然后ssh-copy-id到cluster1--cluster7 | ||||
| 步骤1.3:修改host文件 | ||||
| 使用scp命令将修改后的hosts文件复制到集群中的其它主机 | ||||
| 步骤 2 : | 安装Hadoop,并修改Hadoop的配置文件 | |||
| 步骤 2.1:在cluster1上安装hadoop | ||||
| 解压缩到某个目录即可 | ||||
| 步骤 2.2:修改/etc/profile | ||||
| 步骤 3.2:修改hbase-site.xml | ||||
| 将<configuration>配置项的内容设置为: | ||||
| 步骤 2.3:修改/hadoop-2.6.0/etc/hadoop/hadoop-env.sh | ||||
| 步骤 2.4:修改/hadoop-2.6.0/etc/hadoop/hdfs-site.xml | ||||
| 将文件中的<configuration>配置项替换为: | ||||
| 步骤 2.5:修改/hadoop-2.6.0/etc/hadoop/core-site.xml | ||||
| 将文件中的<configuration>配置项替换为: | ||||
| 步骤 2.6:修改/hadoop-2.6.0/etc/hadoop/mapred-site.xml | ||||
| 将文件中的<configuration>配置项替换为: | ||||
| 步骤 2.7:修改/hadoop-2.6.0/etc/hadoop/yarn-site.xml | ||||
| 将文件中的<configuration>配置项替换为: | ||||
| 步骤 2.8:修改/hadoop-2.6.0/etc/hadoop/slaves.xml | ||||
| 步骤 2.9.1:将cluster1上的hadoop安装目录复制到cluster2--cluster7 | ||||
| 步骤 2.9.2:将hadoop的运行目录【hadoop.tmp.dir】复制到cluster2--cluster7 | ||||
| 步骤 2.9.3:补充操作 | ||||
| 步骤 3 : | 安装并启动zooKeeper集群 | |||
| 步骤 3.1:搭建zooKeeper集群 | ||||
| 在cluster1, cluster2, cluster3上面搭建zooKeeper集群 | ||||
| 详细搭建过程请参照【\开发指南\Hadoop\08. ZooKeeper集群-搭建指南\08. ZooKeeper集群-搭建指南.xlsx】 | ||||
| 步骤 3.2:启动zooKeeper集群 | ||||
| 依次启动zooKeeper集群中的其它zooKeeper | ||||
| 步骤 3.3:查看zooKeeper集群状态 | ||||
| 步骤 4 : | 格式化ZK和HDFS | |||
| 步骤 4.1:在cluster1上格式化ZK | ||||
| …… | ||||
| 步骤 4.2.1:启动journalNode | ||||
| 依次启动主机cluster4--cluster7上的journalNode | ||||
| 步骤 4.2.2:格式化NameNode | ||||
| …… | ||||
| 步骤 5 : | 进入管理页面,查看集群状态 | |||
| 步骤 5.1:在cluter1启动集群 | ||||
| 步骤 5.2:格式化standby nameNode | ||||
| …… | ||||
| 步骤 5.3:启动standby nameNode | ||||
| 步骤 5.4:查看集群其它主机上的进程 | ||||
| 验证标准: |
Hadoop集群部署
本文详细介绍了一种Hadoop集群的部署流程,包括修改Linux主机名、配置SSH免密、安装配置Hadoop及其相关组件等关键步骤。
1万+

被折叠的 条评论
为什么被折叠?



