欢迎使用优快云-markdown编辑器

最新推荐文章于 2021-01-07 23:01:28 发布

翻译最新推荐文章于 2021-01-07 23:01:28 发布 · 172 阅读

大数据专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍如何在Ubuntu系统上安装Java环境并部署Hadoop，包括下载验证Hadoop包、配置Hadoop环境变量等步骤。

安装Hadoop在ubuntu上

step 1. install Java

1.到根目录下准备安装java环境
`cd ~`
2.更新软件列表
`sudo apt-get update`
3.安装默认的jdk
`sudo apt-get install default-jdk`
4.查看java版本
`java -version`

step 2. install hadoop

1.下载最新的binary版本的软件 用wget去抓取
`wget http://apache.mirrors.tds.net/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz`

2. 确保我们下载的软件没有警告，所以我们下载mds去验证`
3. wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds`
3. 运行这个验证

     shasum -a 256 hadoop-2.7.3.tar.gz

4. 比较这个值
   cat hadoop-2.7.3.tar.gz.mds
5.解压缩这个文件
  `tar -xzvf hadoop-2.7.3.tar.gz`
6.移动这个文件到local/hadoop文件夹下面
 ` sudo mv hadoop-2.7.3 /usr/local/hadoop`

step 3. configure the hadoop’s home

1.找到默认的java path
readlink -f /usr/bin/java | sed "s:bin/java::"

2.设置一个默认的版本的java

 `sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh`

选择1：

#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre/

    选择2：

#export JAVA_HOME=${JAVA_HOME}
    export JAVA_HOME = $(readlink -f /usr/bin/java | sed "s:bin/java::")

step 4. running Hadoop

1.运行 hadoop
/usr/local/hadoop/bin/hadoop
2.测试hadoop创建一个input文件夹
mkdir ~/input
3.复制默认的xml到input文件夹里面
cp /usr/local/hadoop/etc/hadoop/*.xml ~/input
4.打包输出结果

/usr/local/hadoop/bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/input ~/grep_example 'principal[.]*'