win安装部署hadoop3.0.0并启动上传文件到HDFS

原创已于 2022-04-27 10:18:00 修改 · 2.3k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hdfs

于 2022-04-26 18:00:26 首次发布

日常问题记录专栏收录该内容

4 篇文章

订阅专栏

本文详细介绍了如何下载并配置Hadoop 3.0，包括环境变量设置、核心、HDFS和YARN配置，以及dll文件的替换和HDFS操作。通过实践步骤，学习者能快速掌握Hadoop的基本使用和webUI管理。

1.下载工具包（下载不方便的留邮箱）

hadoop-3.0.0.tar.gz

winutils-master.zip

2.正式上手

1.解压文件 hadoop-3.0.0.tar.gz winutils-master.zip

2.配置环境变量

Path最前面添加：;%HADOOP_HOME%\bin;

配置完cmd-> hadoop version 测试一下

下来就修改配置文件进入解压后的hadoop3.0.0->etc->hadoop目录

修改core-site.xml文件添加

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

修改hdfs-site.xml文件添加

<configuration>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/hadoop-DATA/hadoop-3.0.0/data/namenode</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>/D:/hadoop-DATA/hadoop-3.0.0/data/snn</value>
</property>
<property>
<name>fs.checkpoint.edits.dir</name>
<value>/D:/hadoop-DATA/hadoop-3.0.0/data/snn</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/D:/hadoop-DATA/hadoop-3.0.0/data/datanode</value>
</property>
</configuration>

修改yarn-site.xml文件添加

<configuration>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

修改 mapred-site.xml文件添加

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

下来将解压的winutils-master中的hadoop-3.0.0 bin目录下的hadoop.dll和winutils.exe拷贝到

hadoop-3.0.0下的bin目录覆盖掉原来的。

启动hadoop

cmd 进入hadoop-3.0.0 bin目录执行hdfs namenode -format

进入sbin目录执行start-all.cmd 启动hadoop会弹出多个win窗口

创建file目录

还是在sbin目录：hadoop fs -mkdir /file

上传文件到HDFS:hadoop dfs -put /E:/125.gif /file

Hadoop自带了web UI管理页面可以看看结果：

①资源管理（localhost:8088）

②节点管理（localhost:9870）

下来用代码实现文件操作

pom.xml

<dependency>
    <groupId>junit</groupId>
    <artifactId>junit</artifactId>
    <version>RELEASE</version>
</dependency>
<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-core</artifactId>
    <version>2.8.2</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>3.0.0</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>3.0.0</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>3.0.0</version>
</dependency>

java代码