虚拟机ubuntu18.04环境下hadoop2.9和hive3.0安装

最新推荐文章于 2025-10-13 20:28:38 发布

原创最新推荐文章于 2025-10-13 20:28:38 发布 · 6.4k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hive

操作系统同时被 2 个专栏收录

6 篇文章

订阅专栏

虚拟机

5 篇文章

订阅专栏

本文详细介绍了如何在Ubuntu 18环境下搭建Hadoop集群，包括基础环境配置、Hadoop及Hive的安装步骤、MySQL安装配置、虚拟机IP地址设置等关键环节。

一、基础环境和下载

环境：ubuntu18,64位

虚拟机：virtualbox5.2

下载hadoop2.9.1 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

下载jdk1.8.0 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下载hive3.0.0 https://mirrors.tuna.tsinghua.edu.cn/apache/hive/

二、创建HADOOP用户

sudo useradd -m hadoop -s /bin/bash

设置密码

sudo passwd hadoop

增加管理员权限

sudo adduser hadoop sudo

三、更新软件，安装ssh

sudo apt-get update

sudo apt-get install vim

sudo apt-get install openssh-server

登陆本机：

ssh localhost

exit # 退出刚才的 ssh localhost
cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa # 会有提示，都按回车就可以

cat ./id_rsa.pub >> ./authorized_keys # 加入授权

四、安装java，配置环境

tar -zxvf jdk-8u171-linux-x64.tar.gz

配置环境变量

sudo gedit  /etc/profile

末尾加上

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_21  

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH  

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH 

终端输入

source /etc/profile

五、安装hadoop

sudo tar -zxf hadoop-2.9.1.tar.gz -C /usr/local # 解压到/usr/local中
定位到/usr/local
sudo mv ./hadoop-2.9.1/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop # 修改文件权限

验证是否安装成功

cd /usr/local/hadoop

./bin/hadoop version

安装成功会显示版本

六、修改配置文件

gedit ./etc/hadoop/core-site.xml

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

gedit ./etc/hadoop/hdfs-site.xml

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

gedit ./etc/hadoop/hadoop-env.sh

修改java环境变量（你安装的位置） export JAVA_HOME=/lib/jdk1.8.0_171

执行 NameNode 的格式化:

./bin/hdfs namenode -format

开启 NameNode 和 DataNode 守护进程

./sbin/start-dfs.sh

启动完成后，可以通过命令 jps 来判断是否成功启动

关闭命令sbin/stop-dfs.sh

可以打开http://localhost:50070/查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

七、安装mysql

第一次安装调用不出来mysql，所以决定卸载重安就可以了

sudo apt-get install mysql-server
sudo apt install mysql-client
sudo apt install libmysqlclient-dev

先清除之前的安装信息

sudo apt-get autoremove --purge mysql-server-5.0
sudo apt-get remove mysql-server
sudo apt-get autoremove mysql-server

sudo apt-get remove mysql-common

清理残留数据

dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P

再次安装

sudo apt-get install mysql-server

sudo apt-get install mysql-client

设置mysql允许远程访问

终端输入sudo gedit /etc/mysql/mysql.conf.d/mysqld.cnf

注释掉bind-address = 127.0.0.1

在mysql中输入

grant all on *.* to root@'%' identified by '你的密码' with grant option;

flush privileges;

在终端中重启mysql

service mysql restart

八、复制这个ubuntu系统

右击ubuntu，选择“复制”，选择初始化mac地址，确定，“完全复制”，复制出两个新的ubuntu系统，命名为ubuntu2和ubuntu3

九、更改ubuntu2和ubuntu3的IP地址

复制出来的虚拟机IP地址是重复的，需要修改

在/etc/netplan中找到后缀名为.yaml的文件，打开终端

sudo gedit 01-network-manager-all.yaml

network:
    ethernets:
        enp0s3:
            addresses:
            - 192.168.0.2/20
            gateway4: 192.168.12.2
            nameservers:
                addresses:
                - 223.5.5.5
                search: []
            optional: true
    version: 2

保存退出，在终端中输入：sudo netplan apply，使之生效

在终端中输入ifconfig可查看ip