HDFS基本操作实践

最新推荐文章于 2024-10-15 17:55:30 发布

原创

最新推荐文章于 2024-10-15 17:55:30 发布 · 2.4k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

本文介绍了在HDFS中使用shell客户端和Java API进行文件操作的实践经验。在shell端，主要运用了`hadoop fs`指令；而在Java API端，通过配置IDEA的Maven设置和修正代码错误，成功导入并运行了相关代码。文章还概述了HDFS的设计目标和架构，强调了其硬件故障容错、流式数据访问等特点，以及Namenode和Datanode的角色。

实验内容：
在HDFS的shell客户端和Java API客户端操作HDFS的节点，对文件进行操作

实验数据记录：
在HDFS的shell端操作：
主要使用了 hadoop fs 的一些简单指令
在这里插入图片描述

在HDFS的Java API端操作：
打开安装好的IDEA，新建maven项目，点击右上角setting，配置maven:
在这里插入图片描述

在pom.xml文件中添加如下内容：

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

亚尔蒂兰

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

HDFS基本操作

2301_80318717的博客

05-29

1295

1.创建目录（文件夹）单层文件夹 hdfs dfs -mkdir 文件夹名多层文件夹 hdfs dfs -mkdir -p /文件夹1/文件夹2......2.上传文件hdfs dfs -put 源文件的路径目标路径将本地的源文件上传到hdfshdfs dfs -moveFromLocal 源文件的路径目标路径将本地的源文件移动到hdfs上（本地源文件删除）

Hadoop HDFS的基本操作

qq_46387472的博客

05-26

3153

对于 HDFS 的基本操作,可以通过 HDFS 命令行实现。在集群服务器的终端，通过“hdfs dfs”命令即可完成对 HDFS 目录及文件的管理操作包括创建目录、上传文件与下载文件、查看文件内容、删除文件或目录等。

参与评论您还未登录，请先登录后发表或查看评论

HDFS实例基本操作

07-02

在安装好HDFS的前提下，此项目包含HDFS的基本操作，上传，下载，创建文件夹等。

HDFS基本操作实验

Dragon_qing的博客

05-03

3212

HDFS基本操作实验HDFS的基本命令格式列出当前目录下的文件在HDFS创建文件夹级联创建一个文件夹，类似这样一个目录：/mybook/input上传文件至HDFS从HDFS上下载文件查看HDFS上某个文件的内容统计目录下各文件的大小（单位：字节B）删除HDFS上某个文件或者文件夹使用help命令寻求帮助。 HDFS的基本命令格式 hdfs dfs -cmd <args> 注意：需要事先将HADOOP_HOME/bin目录配置进入环境变量。列出当前目录下的文件 hdfs dfs -ls 在

HDFS常用的命令

cj2580的博客

06-06

926

老版本的命令是hadoop fs -ls / 新版本的基本是hdfs dfs ls,新版本的HDFS常用命令整理：1、-help[cmd] 显示命令的帮助信息 ./hdfs dfs -help ls 2、-ls(r) 显示当前目录下的所有文件 -R层层循出文件夹 ./hdfs dfs -ls /log/map ./hdfs dfs -lsr /log/ (递归的) 3、-du(

精选资源

大数据实验二-HDFS编程实践

04-03

本次实验的主要目标是通过对HDFS（Hadoop Distributed File System）的操作实践，加深学生对HDFS在Hadoop架构中的作用及其基本操作的理解。实验内容包括两大部分：一是通过Shell命令对HDFS进行基本的文件管理操作；...

Hadoop安装及HDFS基础操作实践指南

在本次的知识点整理中，我们将会详细探讨关于Hadoop的安装流程以及HDFS（Hadoop Distributed File System）的基础操作。由于给定文件信息中只包含了标题、描述以及标签，而且标题与描述完全一致，我们假定文件“实验...

HDFS基本操作实践-java交互式编程的准备工作（IDEA）

最新发布

m0_70172872的博客

10-15

1345

在idea界面第一次新建maven工程，以及新建工程的一些安装配置工作，实现对hadoop的java交互式编程

大数据处理实验（三）HDFS基本操作实验

qq_46147238的博客

04-28

6275

HDFS基本操作实验一、Hadoop配置环境变量列出当前目录下的文件级联创建一个文件夹，类似这样一个目录：/mybook/input上传文件至HDFS从HDFS上下载文件查看HDFS上某个文件的内容统计目录下各文件的大小（单位：字节B）删除HDFS上某个文件或者文件夹使用help命令寻求帮助。 HDFS的基本命令格式:hdfs dfs -cmd <args> 注意：需要事先将HADOOP_HOME/bin目录配置进入环境变量。一、Hadoop配置环境变量进入实验二创建的master容器 su

Hadoop学习篇(二)——HDFS实践操作

qq_17732621的博客

03-12

441

上篇博客中，我们学习了HDFS的理论基础，了解了HDFS的架构模式，并且是如何进行读写操作的。那么本篇就要开始HDFS的实战操作了。（实战操作将以伪分布式为例）上篇链接：Hadoop学习篇(二)——HDFS Hadoop学习篇(二)——HDFS实践操作说明：如涉及到侵权，请及时联系我，并在第一时间删除文章。 2.2 HDFS命令行操作 HDFS的基本操作主要进行命令行操作，以伪分布式为例。 Shell命令格式有三种： ./bin/hadoop fs # 适用于任何不同的文件系统，比如本地文件系统

HDFS实践操作

weixin_46192593的博客

06-30

420

hdfs基本操作

m_target的博客

05-09

660

1. hdfs的操作(图形界面) 1.1 hdfs的启动流程进入安全模式加载fsimage 加载edits 保存检查点(融合fsimage和edits文件,生成新的fsimage) 退出安全模式 1.2 通过浏览器访问 http://namenode:50070 2. hdfs的操作(shell操作) hdfs dfs hadoop fs hdfs dfs -put text01.tx...

HDFS的基本操作

Vicky_Yi的博客

09-24

2673

首先要弄清楚涉及的文件层次结构： 1./user/hadoop，处于HDFS文件系统中，只能用以"hdfs dfs"的开头的Shell命令方式，相当于云网盘，本地上传的文件都存放在这里 2./home/hadoop，处于计算机文件系统中，只能用普通的liunx语言处理，云上下载的文件都存放在这里 3./usr/local/hadoop，个人文件夹，个人新建的文件存放地几个注意点: 1....

HDFS的基本操作（创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件）