hadoop单机安装步骤1

最新推荐文章于 2024-05-11 20:27:30 发布

原创最新推荐文章于 2024-05-11 20:27:30 发布 · 240 阅读

0 ·

CC 4.0 BY-SA版权

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍如何在Linux环境下安装Hadoop2.7.7版本，并进行基本的功能测试，包括环境配置、HDFS操作及WordCount示例运行。

$wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
$tar -xvf hadoop-2.7.7.tar.gz -C /usr/local
查看java安装路径
$ll -alh /usr/bin/java
lrwxrwxrwx 1 root root 22 May 13 20:03 /usr/bin/java -> /etc/alternatives/java
$ll -alh /etc/alternatives/java
lrwxrwxrwx 1 root root 74 May 13 20:03 /etc/alternatives/java -> /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.95-2.6.4.0.el7_2.x86_64/jre/bin/java
切换目录。以下部分命令在hadoop目录下执行
$cd /usr/local/hadoop-2.7.7
修改hadoop配置文件
$vi ./etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.95-2.6.4.0.el7_2.x86_64/jre
编辑环境变量
$vi /etc/profile
HADOOP_HOME=/usr/local/hadoop-2.7.7 在这里插入图片描述
测试统计功能，统计各词出现次数
$mkdir /home/input/
$cp ./etc/hadoop/*.xml /home/input/
$hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar \ wordcount /home/input/ /home/output
#output目录必须是不存在，执行后会自动生成。
查看hdfs文件系统
$hdfs dfs -ls /

$vi /usr/local/hadoop-2.7.7/etc/hadoop/core-site.xml
在这里插入图片描述

$vi /usr/local/hadoop-2.7.7/etc/hadoop/
dfs.replication1
因为是伪分布式，只在当前一台虚拟机上，所以value为1

生成ssh免登录秘钥
$ssh-keygen -t rsa #一直回车
$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$chmod 600 ~/.ssh/authorized_keys

格式化
$bin/hdfs namenode -format
生成的存储目录为###INFO common.Storage: Storage directory /tmp/hadoop-root/dfs/name has been successfully formatted.
运行
$sbin/start-dfs.sh
网页访问
$firefox http://localhost:50070/
结束
$sbin/stop-dfs.sh