Hadoop环境搭建

最新推荐文章于 2024-11-04 16:23:02 发布

原创最新推荐文章于 2024-11-04 16:23:02 发布 · 174 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #操作系统 #java

Hadoop 专栏收录该内容

16 篇文章

订阅专栏

本文详细介绍如何在Ubuntu系统上为Hadoop用户配置root权限、修改主机名、配置hosts文件等基本步骤，并深入讲解JDK及Hadoop软件的安装、环境变量配置、Hadoop各配置文件的具体设置方法。

1.给hadoop用户赋予和root用户同样的权限

sudo vim /etc/sudoers

2.修改hostname

sudo vi /etc/hostname

3.修改hosts

sudo vi /etc/hosts

4.重启Ubuntu（重启之后，可以尝试ping hostname，比如ping hadoop-0000）

sudo reboot

5. Alt + P, put JDK & Hadoop

6. 解压JDK & Hadoop

sudo tar zxvf jdk-8u77-linux-x64.tar.gz -C app/
sudo tar zxvf hadoop-2.6.4.tar.gz -C app/

7.配置JAVA_HOME & HADOOP_HOME

sudo vi /etc/profile

#setup Java & Hadoop environment
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_77
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.4
export PATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

8.使环境变量生效

source /etc/profile

9.查看Hadoop文件夹

10.配置Hadoop环境

修改Hadoop环境的用户和用户组

sudo chown -R hadoop:hadoop hadoop-2.6.4/

配置hadoop-env.sh

sudo vi hadoop-env.sh

export JAVA_HOME=/home/hadoop/app/jdk1.8.0_77

配置core-site.xml

sudo vi core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop-0000:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/app/hadoop-2.6.4/data</value>
    </property>
</configuration>

配置hdfs-site.xml

sudo vi hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

配置mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
sudo vi mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

配置yarn-site.xml

sudo vi yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop-0000</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>