2. 教你在VirtualBox下安装Hadoop

最新推荐文章于 2024-06-18 14:13:40 发布

易成

最新推荐文章于 2024-06-18 14:13:40 发布

阅读量1.8k

点赞数 2

分类专栏：大数据学习之路文章标签： hadoop 大数据 hdfs

本文链接：https://blog.youkuaiyun.com/yyc252532009/article/details/108742923

版权

本文详细介绍了如何在VirtualBox上安装Hadoop，包括下载安装包、配置伪集群、启动测试以及HDFS的目录说明。通过修改core-site.xml、hdfs-site.xml和mapred-site.xml等文件，配置NameNode、HDFS、Map-Reduce，以及启动和测试HDFS，确保Hadoop在单机上的正确运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2. Hadoop安装

1. Hadoop的安装

下载Hadoop安装包，通过scp（或其他指令方式）发送到虚拟机上，并进行解压安装。修改环境变量

vi /etc/profile
export JAVA_HOME="/opt/jdk1.8.0_211"
export HADOOP_HOME="/opt/hadoop-2.8.4" # hadoop安装目录
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile

使用hadoop命令检查是否安装成，如下则说明安装成功

2. 伪集群配置

Hadoop正常工作必须启动两个基础的服务-hadoop和yarn。伪集群模式即在单机上启动这些服务。包括主动启动nn，dn，sn、rm、nm等

2.1 NameNode配置

修改etc目录下的core-site.xml文件，在configuration标签中添加

<!-- 指定NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名1:9000</value>
</property>

<

最低0.47元/天解锁文章