ubuntu Hadoop2.7.1 安装记录

最新推荐文章于 2021-10-20 09:48:49 发布

Sc-000

最新推荐文章于 2021-10-20 09:48:49 发布

阅读量546

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/sccs999/article/details/49471443

hadoop 专栏收录该内容

3 篇文章

订阅专栏

本文记录了在Ubuntu系统中安装Hadoop2.7.1的完整过程，包括下载Hadoop、创建用户组和用户、安装SSH实现免密码登录、配置Java环境、解压并配置Hadoop、初始化NameNode以及启动和停止Hadoop服务。通过这些步骤，读者可以了解如何在本地设置一个简单的Hadoop集群。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、下载hadoop

http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

hadoop-2.7.1.tar.gz

2、创建一个专门用来操作hadoop的用户组和用户

sudo addgroup hadoop

sudo adduser -ingroup hadoop hadoop

一直回车，直到确认信息，输入y

修改用户权限：

sudo vim /etc/sudoers

输入

# User privilege specification
root ALL=(ALL:ALL) ALL
hadoop ALL=(ALL:ALL) ALL
# Members of the admin group may gain root privileges

3、安装ssh

安装 ssh :sudo apt-get install openssh-server

用下面这个命令查看是否启动成功
ps -e | grep ssh

安装完成之后，一般是自动启动了，如果没有，则自行启动
sudo /etc/init.d/ssh start

4、免密码ssh登陆

cd ~/.ssh/

如果没有该文件夹，则 ssh loaclhost登陆一次，则自动生成了

ssh-keygen -t rsa

生成公钥和私钥，密码为空，直接回车几次就行了

cat id_rsa.pub >> authorized_keys

然后把公钥加入许可当中，当然，也要把其他的slave的公钥也加入其中

再用ssh localhost 或者 ssh slave_ip 去测试是否可以免密码登陆了。同样，从机也要把这个许可拷贝过去。

5、配置java环境

export JAVA_HOME=/home/hadoop/jdk1.7.0_71
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

6、安装hadoop

tar -zxvf hadoop-2.7.1.tar.gz

我就装在 ~/ 目录下的，我不知道为什么其他教程都写的装 /usr/loacl/ 下面

7、修改配置文件 /etc/hadoop 中

192.168.3.130 为我本机ip

192.168.3.131 为我的从机ip

用 /etc/hosts 里面配置的 hostname 来充当也行

core-site.xml

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.3.130:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/hadoop-2.7.1/tmp</value>
    </property>

hdfs-site.xml

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/hadoop-2.7.1/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/hadoop-2.7.1/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>192.168.3.130:9001</value>
    </property>
    <property>
	<name>dfs.webhdfs.enabled</name>
	<value>true</value>
    </property>

mapred-site.xml

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

yarn-site.xml

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>192.168.3.130:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>192.168.3.130:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>192.168.3.130:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>192.168.3.130:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.3.130:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>768</value>
    </property>

hadoop-env.sh

这个主要是修改 JAVA_HOME 的的值

export JAVA_HOME=/home/hadoop/jdk1.7.0_71

yarn-env.sh

export JAVA_HOME=/home/hadoop/jdk1.7.0_71

8、初始化一下 bin/hdfs namenode -format

9、相关配置发到从机

scp -r /home/hadoop/hadoop-2.7.1 hadoop@192.168.3.131:/home/hadoop/

/sbin/start-all.sh 启动

/sbin/stop-all.sh 停止

访问 192.168.3.130::8088 查看