Hadoop单机模式，并执行WordCount

最新推荐文章于 2024-04-10 17:31:46 发布

尘埃落定55

最新推荐文章于 2024-04-10 17:31:46 发布

阅读量912

点赞数

分类专栏： Hadoop 文章标签： hadoop jdk ubuntu WordCount

本文链接：https://blog.youkuaiyun.com/jiang0426/article/details/51271348

版权

Hadoop 专栏收录该内容

11 篇文章

订阅专栏

本文详细介绍了如何在Ubuntu系统上安装Java、SSH，并配置Hadoop单机模式，最后成功运行WordCount示例。首先，通过下载、解压和配置Java环境，确保版本为1.8.0_60。接着，安装SSH服务器并创建SSH密钥，以实现本地连接。然后，下载Hadoop 2.7.1，设置环境变量，配置Hadoop环境并指定JAVA_HOME。最后，创建input和output目录，运行WordCount程序，输出结果位于part-r-00000文件中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、在Ubuntu系统上安装Java：

去官网下载ubuntu支持的java jdk，移动到/soft下并解压

设置环境变量：

sudo gedit/etc/profile

export JAVA_HOME=/home/kun/soft/jdk1.8.0_60

export JRE_HOME=/home/kun/soft/jdk1.8.0_60/jre

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

选择我们的JAVA作为系统默认的JAVA

sudo update -alternatives --install /usr/bin/java java/home/kun/soft/jdk1.8.0_60/bin/java 300

sudo update -alternatives --install /usr/bin/javac javac/home/kun/soft/jdk1.8.0_60/bin/javac 300

更新设定

sudo update-alternatives --config java

更新系统配置文件：

source /etc/profile

检查版本

kun@hadoop-master:~$ java -version
java version "1.8.0_60"
Java(TM) SE Runtime Environment (build 1.8.0_60-b27)
Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)

表示成功！

2、安装SSH

sudo apt-get -y update

第一步：安装

sudo apt-get install openssh-server

第二步：检查版本是否成功

ssh-v

第三步：创建ssh-key

ssh-keygen-t rsa

说明：多次回车后

第四步：

cd~/.ssh

说明：

~代表你的/home/用户明目录
假设你的用户名是x，那么~/就是/home/x/
.是代表此目录本身，但是一般可以不写
所以cd~/. 和cd~ 和cd~/效果是一样的
但是.后面有东西又是另外一个问题，点在文件名头部，代表一个隐藏文件
~/.local是你的主目录下一个.local的文件夹的路径，并且从.可以看出，这是一个饮藏文件，如果不用ls-a的话，一般ls是无法看到的

第五步：

catid_rsa.pub >> authorized_keys

第六步：输入如下命令，测试是否成功

ssh localhost

输入yes后

再次

ssh localhost

3、安装Hadoop单机

下载Hadoop2.7.1.tar.gz并解压到soft下

配置Hadoop环境变量

sudo gedit/etc/profile

添加如下内容

export HADOOP_HOME=/home/kun/soft/hadoop-2.7.1

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

更新系统配置文件

source /etc/profile

进入hadoop路径并执行：

sudo gedit etc/hadoop/hadoop-env.sh

添加java路径

export JAVA_HOME=/home/kun/soft/jdk1.8.0_60

让目录生效

source /home/kun/soft/hadoop-2.7.1/etc/hadoop/hadoop-env.sh

4、单机模式下运行WordCount

创建input目录，里面随便放个文件文件

创建output目录

运行如下命令

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jarwordcount input output/1

运行如下命令

cat output/1/*

即可产生结果

注意：第一个_SUCCESS只是一个成功标志，里面没有内容，运行结果在part-r-00000中。