其实本篇文章是我Hadoop环境安装的续篇。在Hadoop本地开发入门这篇文章中,我的输入输出文件全部在本地,并没有上传到HDFS上面。今天就是HDFS的操作。
1 配置core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000/</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:///D:/hadoop-info/hadoop-2.8.1/data/tmp</value>
</property>
</configuration>
2 配置运行参数:

3 在HDFS上新建input文件夹:
D:\hadoop-info\hadoop-2.8.1\sbin>hadoop fs -mkdir hdfs://localhost:9000/input
4 往input文件夹里面上传readme.txt
D:\hadoop-info\hadoop-2.8.1\sbin>hadoop fs -put D:\hdfs\readme.txt hdfs://localhost:9000/input
5 运行主程序
6 查看output输出:
D:\hadoop-info\hadoop-2.8.1\sbin>hadoop fs -ls hdfs://localhost:9000/output

本文详细介绍Hadoop环境下HDFS的配置与操作流程,包括核心配置文件core-site.xml的设置,如何在HDFS上创建文件夹及上传文件,以及运行主程序后的输出查看,为Hadoop初学者提供实用指导。
3万+

被折叠的 条评论
为什么被折叠?



