Ubuntu16.04环境下搭建Hadoop3.0.3伪分布式集群

本文记录在Ubuntu16.04上搭建Hadoop3.0.3伪分布式集群的过程,包括创建hadoop用户、配置ssh免密登录、安装java环境、安装hadoop并进行配置,最后验证安装成功。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

    最近刚好赶上双11腾讯促销,于是抢购了一个8核16G内存的云服务器,加上业务上需要用到hadoop,hive,于是想搭建搭建一个hadoop分布式集群,但是限于自己手头上服务器数量不多,因此打算先搭建一个hadoop伪分布式集群。

  首先介绍一下我的安装环境:

  (1)java version 

     

(2)hadopp version

   

接下来,开始我的环境搭建之旅,由于在上学期间已经搭建过,所以这里就不再很详细的阐述,只是记录重要的关键点。

目录

(1)创建hadoop用户

(2)ssh免密登陆

(2)安装java环境

(3)安装hadoop3.0.3   

(4)搭建hadoop伪分布式集群

(5)验证是否安装成功


(1)创建hadoop用户

      其实,完全可以用root用户来操作hadoop的,但是毕竟root的权限太高了,我们还是要令创建一个专门来管理hadoop的用户,这里就取名叫hadoop  。(以下是root模式下操作的)

useradd -m hadoop -s /bin/bash

这条命令创建了可以登录的hadoop用户,并使用/bin/bash作为shell。

接着使用如下命令设置密码,可简单的设置为hadoop,按提示输入两次密码:

sudo passwd hadoop

可为hadoop用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题

adduser hadoop sudo

至此已经创建好了hadoop用户

(2)ssh免密登陆

      使用su hadoop 切换到用户hadoop

su hadoop

      切换到hadoop用户后,先更新一些apt,后续会使用apt安装软件,如果没更新可能有一些软件安装不了。按ctrl+alt+t打开终端窗口或者使用xshell建立远程连接,执行如下命令:

sudo apt-get update

      集群,单节点模式都需要用到SSH登录(类似于远程登录,你可以登录某台Linux主机,并且在上面运行命令),Ubuntu默认已安装了SSH client,此外还需要安装SSH server:

sudo apt-get install openssh-server

    安装后,可以使用命令登录本机:

ssh localhost

   此时会有如下提示(SSH首次登陆提示),输入yes。然后按提示输入密码hadoop,这样就可以登录到本机。

      但这样登录是需要每次输入密码的,我们需要配置成SSH无密码登录比较方便。

    首

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值