伪分布式hadoop搭建与配置学习笔记

最新推荐文章于 2024-05-05 00:18:17 发布

原创最新推荐文章于 2024-05-05 00:18:17 发布 · 163 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop学习

Hadoop安装与配置专栏收录该内容

1 篇文章

订阅专栏

这篇博客详细记录了如何在本地搭建Hadoop-2.6.5的伪分布式环境，包括从下载Hadoop到配置环境变量，修改配置文件如hadoop-env.sh、hdfs-site.xml、core-site.xml等，再到格式化NameNode、启动Hadoop服务，以及在Eclipse中使用Hadoop所需的jar包导入步骤。

1、下载Hadoop-2.6.5版本

地址：
http://archive.apache.org/dist/hadoop/core/hadoop-2.4.1/
命令：

wget http://archive.apache.org/dist/hadoop/core/hadoop-2.4.1/

2、把下载好的tar解压：

tar –zxvf hadoop-2.6.5.tar.gz

3、设置环境变量：

vim ~/.bash_profile

目的：在该文件中把Hadoop的home、bin、sbin目录加到path中去
文件底部添加如下内容：

HADOOP_HOME=/root/haitao/hp/Hadoop-2.6.5
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH

并生效环境变量：

source ~/.bash_profile

4、配置hadoop-2.6.5/etc/hadoop/hadoop-env.sh

先进入到路径hadoop-2.6.5/etc/hadoop

vim hadoop-env.sh

注释掉：#export JAVA_HOME=${JAVA_HOME}

增加：export JAVA_HOME=/usr/share/jdk1.8

在这里插入图片描述

可忽略部分

          此路径是jdk的安装路径
          配置好了本地模式之后，需要通过内部提供的DEMO来测试是否安装成功
          演示Demo：
          存放地址：/usr/local/hadoop/share/hadoop/mapreduce
          如果想了解到底内部提供了多少个Demo，那执行以下语句：
          在mapreduce目录下执行：hadoop jar hadoop-mapreduce-examples-2.6.5.jar

在这里插入图片描述