CentOS搭建hadoop的步骤

最新推荐文章于 2024-07-28 22:16:41 发布

原创最新推荐文章于 2024-07-28 22:16:41 发布 · 364 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #centos #jdk

环境搭建同时被 2 个专栏收录

2 篇文章

订阅专栏

hadoop

1 篇文章

订阅专栏

本文详细介绍Hadoop的安装步骤，包括JDK和Hadoop的下载与配置，环境变量设置，以及Hadoop核心配置文件的调整等内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 下载jdk和hadoop

下载jdk-7u7-linux-i586.tar.gz和hadoop-2.6.0.tar.gz

http://www.apache.org/dyn/closer.cgi/hadoop/common/ 
http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260.html

解压包到想要安装的路径中

sudo tar zxvf jdk-7u7-linux-i586.tar.gz /home
sudo tar zxvf hadoop-2.6.0.tar.gz /home/hadoop001

2. 配置环境变量

sudo gedit /etc/profile

把jdk和hadoop路径加入到profile文件

export JAVA_HOME=/home/jdk1.7.0_07
export HADOOP_HOME=/home/hadoop001/hadoop-2.6.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

使环境变量生效

source /etc/profile

检测java、hadoop环境配置是否成功

java version
hadoop version

3. 配置hadoop

/home/hadoop001/hadoop-2.6.0/etc/hadoop/hadoop-env.sh

#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/home/jdk1.7.0_07

/home/hadoop001/hadoop-2.6.0/etc/hadoop/yarn-env.sh

#export JAVA_HOME=/home/y/libexec/jdk1.6.0/
export JAVA_HOME=/home/jdk1.7.0_07

/home/hadoop001/hadoop-2.6.0/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop001/hadoop2data/tmp</value>
        <description></description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.1.242:9000</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>4096</value>
    </property>
</configuration>

/home/hadoop001/hadoop-2.6.0/etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <final>true</final>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>192.168.1.242:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>192.168.1.242:19888</value>
    </property>
</configuration>

/home/hadoop001/hadoop-2.6.0/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop001/hadoop2data/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop001/hadoop2data/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
        <description>这个地方小心了，数值要小于集群机器，单机填1就好了</description>
    </property>
    <property>
        <name>dfs.nameservices</name>
        <value>hadoop-cluster1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>192.168.1.242:50090</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

/home/hadoop001/hadoop-2.6.0/etc/hadoop/yarn-site.xml

<configuration>

 <!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>192.168.1.242</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>192.168.1.242:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>192.168.1.242:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>192.168.1.242:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>192.168.1.242:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.1.242:8088</value>
    </property>
    <property>
        <name>yarn.log.dir</name>
        <value>/home/hadoop001/hadoop2data/yarn_log</value>
    </property>

</configuration>

格式化盘

hdfs namenode -format
hadoop namenode -format

启动hadoop

start-all.sh

停止hadoop

stop-all.sh

4. 遇到的问题

http://192.168.1.242:8088可以访问
http://192.168.1.242:50070无法访问

我碰到这个问题是因为没有使用命令格式化文件系统，使用： hadoop namenode -format格式化后就可以访问了

/lib/ld-linux.so.2: bad ELF interpreter No such file or directory解决

是因为64位系统中安装了32位程序
解决方法： yum install glibc.i686

yum出错Error: Cannot find a valid baseurl for repo: base

sudo gedit /etc/resolv.conf
在文件最后配置： nameserver 8.8.8.8

用户不在sudoers文件中的解决方法

chmod 777 /etc/sudoers

在root用户下面添加你的用户的权限
root    ALL=(ALL)       ALL
你的用户名    ALL=(ALL)       ALL

chmod 440 /etc/sudoers