Ubuntu18.04下hadoop2.10安装详细步骤(亲测有效,可供参考)

本文提供了一步一步在Ubuntu18.04上安装Hadoop2.10的详细过程,包括安装JDK、配置Hadoop环境、设置伪分布式模式、格式化NameNode、启动Hadoop组件,以及验证安装成功的步骤。此外,还涵盖了Hive的安装和配置,连接MySQL数据库,并进行元数据初始化。

**

安装详细步骤

**
首先给出安装过程需要用到的安装包:云盘连接
提取码:rfxs
解压过后里面有四个文件:
需要用的四个安装包
下面给出详细安装步骤,博主是在虚拟机(Ubuntn18.04)上安装的,注意:需要将文中的xxx换成自己的目录即可。

一、首先需要安装jdk环境:
1、更新Ubuntu源

sudo apt-get update

2、将JDK压缩包(jdk-8u251-linux-x64.tar.gz)解压到Ubuntu系统中 /usr/local/ 中

sudo tar -zxvf jdk-8u251-linux-x64.tar.gz -C /usr/local/

3、将解压的文件夹重命名为 jdk8

cd /usr/local/
sudo mv jdk1.8.0_251/ jdk8

4、添加到环境变量

cd /home/xxx/
sudo gedit .bashrc

在文件末尾添加如下内容:

export JAVA_HOME=/usr/local/jdk8
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=.:$JAVA_HOME/bin:$PATH
source .bashrc

验证是否安装成功

java -version

出现java的版本则证明安装并添加到环境变量成功 java version “1.8.0_251”。

二、安装Hadoop并配置伪分布式
1、安装SSH

sudo apt-get install ssh

2、配置免登录认证,避免使用Hadoop时的权限问题

ssh-keygen -t rsa   (输入此条命令后一路回车)
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
ssh localhost   (发现并未让输入密码即可连接)
exit   (退出远程连接状态)

3、找到Hadoop 2.10(hadoop-2.10.0.tar.gz)
4、解压到 /usr/local 目录中,并将文件夹重命名为 hadoop,最后设置权限

sudo tar -zxvf hadoop-2.10.0.tar.gz -C /usr/local/
cd /usr/local
sudo m
包含hadoop平台Java开发的所有所需jar包,例如activation-1.1.jar apacheds-i18n-2.0.0-M15.jar apacheds-kerberos-codec-2.0.0-M15.jar api-asn1-api-1.0.0-M20.jar api-util-1.0.0-M20.jar asm-3.2.jar avro-1.7.7.jar commons-beanutils-1.9.4.jar commons-cli-1.2.jar commons-codec-1.4.jar commons-collections-3.2.2.jar commons-compress-1.19.jar commons-configuration-1.6.jar commons-digester-1.8.jar commons-io-2.4.jar commons-lang-2.6.jar commons-lang3-3.4.jar commons-logging-1.1.3.jar commons-math3-3.1.1.jar commons-net-3.1.jar curator-client-2.7.1.jar curator-framework-2.7.1.jar curator-recipes-2.7.1.jar gson-2.2.4.jar guava-11.0.2.jar hadoop-annotations-2.10.0.jar hadoop-auth-2.10.0.jar hadoop-common-2.10.0-tests.jar hadoop-common-2.10.0.jar hadoop-nfs-2.10.0.jar hamcrest-core-1.3.jar htrace-core4-4.1.0-incubating.jar httpclient-4.5.2.jar httpcore-4.4.4.jar jackson-core-asl-1.9.13.jar jackson-jaxrs-1.9.13.jar jackson-mapper-asl-1.9.13.jar jackson-xc-1.9.13.jar java-xmlbuilder-0.4.jar jaxb-api-2.2.2.jar jaxb-impl-2.2.3-1.jar jcip-annotations-1.0-1.jar jersey-core-1.9.jar jersey-json-1.9.jar jersey-server-1.9.jar jets3t-0.9.0.jar jettison-1.1.jar jetty-6.1.26.jar jetty-sslengine-6.1.26.jar jetty-util-6.1.26.jar jsch-0.1.54.jar json-smart-1.3.1.jar jsp-api-2.1.jar jsr305-3.0.0.jar junit-4.11.jar LIST.bat LIST.TXT log4j-1.2.17.jar mockito-all-1.8.5.jar netty-3.10.6.Final.jar nimbus-jose-jwt-4.41.1.jar paranamer-2.3.jar protobuf-java-2.5.0.jar servlet-api-2.5.jar slf4j-api-1.7.25.jar slf4j-log4j12-1.7.25.jar snappy-java-1.0.5.jar stax-api-1.0-2.jar stax2-api-3.1.4.jar woodstox-core-5.0.3.jar xmlenc-0.52.jar zookeeper-3.4.9.jar
评论 7
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值