搭建hadoop的一点总结

最新推荐文章于 2023-05-28 19:20:32 发布

原创最新推荐文章于 2023-05-28 19:20:32 发布 · 851 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop #HDFS #JDK #linux

个人总结专栏收录该内容

66 篇文章

订阅专栏

本文详细介绍了一种在一台master和三台slave配置下搭建Hadoop集群的方法。内容包括创建用户、配置无密码登录、安装Java SDK及Hadoop软件、配置关键XML文件等步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

周日在公司一边玩，一边鼓捣，把hadoop鼓捣完了，建了一个master，三个slave

答题的过程是这样的。

1.在master和slave上分别创建用户hadoop，修改hostname，/etc/sysconfig/network，修改hosts，用机器名字来识别不用的机器 /etc/hosts

2.完成master到slave，slave到master的无密码登录

3.javasdk的安装，mkdir /usr/java;cd /usr/java; ./jdk-6u31-linux-i586.bin，这样jdk安装完事了

4.在/etc/profile里配置jdk的环境变量，测试是否成功

# set java environment
export JAVA_HOME=/usr/java/jdk1.6.0_31/
export JRE_HOME=/usr/java/jdk1.6.0_31/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

5.安装hadoop，mkdir /usr/hadoop; cd /usr/hadoop;tar -xzvf hadoop-1.2.1.tar.gz;chow hadoop:hadoop hadoop;

6.配置hadoop,在hadoop-env.sh里面加入JAVA_HOME路径，在/etc/profile里面加入hadoop的home路径

# set hadoop path
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

7.配置core-site.xml，hdfs-site.xml，mapred-site.xml三个文件

core-site.xml是Hadoop核心配置文件，这里配置的是HDFS的地址和端口号

<configuration>
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/hadoop/tmp</value>
    </property>
    <!-- file system properties -->
    <property>
            <name>fs.default.name</name>
            <value>hdfs://192.168.74.132:9000</value>
    </property>
</configuration>

注：hadoop.tmp.dir的文件问题需要自己去新建

hdfs-site.xml是Hadoop中HDFS的配置，配置的备份方式默认为3。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

mpred-site.xml是Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>http://192.168.74.132:8021</value>
    </property>
</configuration>

8.修改master和slave

master ：

192.168.74.132

slave：

Slave1.Hadoop
Slave2.Hadoop
Slave3.Hadoop
slaves (END)

9.整体的搭建完成了，下面就是需要把这个配置原封不动的scp到其他三台slave机器上面，这个操作就算完成了。

10.注意的问题，关闭iptables。

HDFS端口

参数	描述	默认	配置文件	例子值
fs.default.name	namenode RPC交互端口	8020	core-site.xml	hdfs://master:8020/
dfs.http.address	NameNode web管理端口	50070	hdfs-site.xml	0.0.0.0:50070
dfs.datanode.address	datanode　控制端口	50010	hdfs-site.xml	0.0.0.0:50010
dfs.datanode.ipc.address	datanode的RPC服务器地址和端口	50020	hdfs-site.xml	0.0.0.0:50020
dfs.datanode.http.address	datanode的HTTP服务器和端口	50075	hdfs-site.xml	0.0.0.0:50075

mapred端口

参数	描述	默认	配置文件	例子值
mapred.job.tracker	job tracker交互端口	8021	mapred-site.xml	hdfs://master:8021/
mapred.job.tracker.http.address	job tracker的web管理端口	50030	mapred-site.xml	0.0.0.0:50030
mapred.task.tracker.http.address	task tracker的HTTP端口	50060	mapred-site.xml	0.0.0.0:50060