Hadoop集群搭建，配置

最新推荐文章于 2024-04-27 12:18:01 发布

原创最新推荐文章于 2024-04-27 12:18:01 发布 · 344 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop集群

hadoop 专栏收录该内容

3 篇文章

订阅专栏

本文详细介绍了如何搭建HDFS集群，包括关闭防火墙、创建Hadoop用户、安装Java环境、下载及配置Hadoop等步骤，并提供了免密码登录的配置方法。

hdfs 集群文件读写
yarm集群为mapreduce 程序分配运算硬件资源

推荐三台：

manage-PC datanode-1 datanode-2

name node 端口9000 data node data node

resouce manager node manager node manager

1、关闭防火墙。
2、创建hadoop 用户。
命令 : useradd hadoop
设置密码： passwd hadoop:

3、安装java 环境：
1、去 http://www.oracle.com/technetwork/java/javase/downloads/index.html下载最新的jdk .rmp
2、执行命令rpm -ivh jdk-8u121-linux-x64.rpm

结果：

准备中… ################################# [100%]
正在升级/安装…
1:jdk1.8.0_121-2000:1.8.0_121-fcs ################################# [100%]
Unpacking JAR files…
tools.jar…
plugin.jar…
javaws.jar…
deploy.jar…
rt.jar…
jsse.jar…
charsets.jar…
localedata.jar…
配置java_home 环境变量。
4、下载hadoop http://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/ hadoop-2.6.4.tar.gz

解压 hadoop-2.6.4.tar.gz tar -zxvf hadoop-2.6.4.tar.gz -C apps/

5、配置hadoop: 5个地方

1、hadoop-env.sh    修改JAVA_HOME参数、
export JAVA_HOME=${JAVA_HOME} 修改为  export JAVA_HOME=/usr/java/jdk1.8.0_121
2、core-site.xml
<property>
<name>fs.defaultFS</name>
<value>manage-PC:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hdpdata</value>
</property>
  3、hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
  4、mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

6、免密码登入
在manage-PC 进行配置，配置manage-PC 到manage-PC,datanode-1 ，datanode-2 免密码登入。
ssh-keygen
ssh-copy-id datanode-1
ssh-copy-id datanode-2
ssh-copy-id manage-PC

7、配置批量脚本命令。
把所有datanode 所在的主机名写入/etc/hadoo/slaves文件夹。