大数据技术原理-HDFS的安装与应用

摘要

本实验报告详细记录了“大数据技术原理”课程中的HDFS（Hadoop分布式文件系统）实验。实验环境基于Ubuntu操作系统，Hadoop框架，以及开发工具JDK和Eclipse。实验内容涵盖了Hadoop的启动、HDFS命令的操作，包括目录的创建、文件的查看、复制、移动和删除，以及通过Java应用程序与HDFS的交互。实验中，解决了运行HDFS时的启动顺序问题，以及如何验证Java应用程序与HDFS交互后文件的生成情况。通过本次实验，深入了解了HDFS的基本命令及其作用，掌握了在Hadoop平台上进行文件操作的方法，并提高了使用Java进行大数据处理的能力。

关键词：HDFS；Hadoop；大数据；文件系统；Java应用程序

一.实验环境：

1. Ubuntu
2. Hadoop
3. JDK和eclipse

二.实验内容与完成情况：

1.启动hadoop:

2.查看hdfs支持的操作：

3.查看具体命令的作用：

4.新建文件夹：

5.运行命令显示HDFS与当前用户对应目录下的内容：

6.创建input目录：

7.删除input文件：

8.复制文件到生成的input文件中：

9.查看HDFS中txt文件的内容：

10.将txt文件移动到其他文件夹下：

11.查看：

12.在eclipse中创建项目，配置所需要的jar包，编写一个可以和HDFS相交互的Java应用程序：

13.编写代码：

14.生成jar包，部署相关的应用程序，生成一个文件夹存放信息：

15.打包好的文件：

16.执行命令查看文件信息：

三.出现的问题及解决方法：

1. 运行hdfs的时候，需要注意先启动hadoop系统，如果不清楚对应的hdfs的操作，可以使用./bin/hdfs dfs，命令查看。
2. 在运行完成主程序之后，需要在hdfs上查看是否成功运行生成对应文件。

四.总结：

Hadoop中HDFS的命令及作用：

1.创建目录hdfs dfs -mkdir /   

2.查看目录下载文件hdfs dfa -ls /    hdfs dfs -ls /   

3.上传本地文件：hdfs dfs -put a.txt /  

4..删除文件/目录：hdfs dfs -rm /test/a.txt  删除目录hdfs dfs -rm -r /test

5.复制文件：hdfs dfs -cp /test/a.txt /