通过Shell命令访问HDFS

m0_73730235

已于 2022-10-24 23:10:28 修改

阅读量1.4k

点赞数 1

文章标签： 1024程序员节

于 2022-10-24 23:08:42 首次发布

本文链接：https://blog.youkuaiyun.com/m0_73730235/article/details/127488037

版权

本文详细介绍了如何通过Shell命令访问HDFS，包括列出目录、创建目录、上传和下载文件、移动和复制文件、查看文件内容、删除文件、设置属性等一系列操作，旨在帮助读者熟练掌握HDFS的基本管理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

实践：通过Shell命令访问HDFS

1.1.1实验目的

（1）理解HDFS在Hadoop体系结构中的作用

（2）熟练使用常用的Shell命令访问HDFS

1.1.2程序运行过程、方法和运行结果

正文，描述运行的过程和结果，注意增加截图。

1.掌握常用的HDFS操作命令（hdfs dfs）

（1）列出子目录或子文件

列出根目录

（2）创建目录（-p表示会创建父目录。实验时将001换成自己的学号）

（3）列出HDFS中/202012750/mydemo文件夹下的文件（-R表示列出所有子目录）

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

m0_73730235

关注关注

1
点赞
踩
11

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Hadoop大数据技术-通过shell命令访问HDFS

qq_53315104的博客

10-24

3385

通过shell命令访问HDFS

hadoop的基本操作第一章使用常用的Shell命令访问HDFS

huanbianyunluo的博客

12-03

7307

前言理解HDFS在Hadoop体系结构中的角色；使用常用的Shell命令访问HDFS；提示：以下是本篇文章正文内容，下面案例可供参考提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档前提准备进入实验环境后，需要通过jps命令确认hadoop环境是否已启动如果出现这上图情况说明还没有hadoop未启动，接下来我们便需要启动Hadoop cd /opt/hadoop/sbin hadoop namenode -format ./start-all.sh 启动之后输入

1 条评论您还未登录，请先登录后发表或查看评论

通过shell命令来控制hdfs

weixin_30252709的博客

06-02

388

1. hadoop文件系统权限简介 2.命令简介 3. 参考资料 <1>. hadoop文件系统权限简介 hadoop文件系统实现的文件权限模型和posix模型极其类似。每个文件和目录和一个owner和group相关联。可以使用下面的命令来查看/tmp/目录下的所有文件及其权限：xuqiang@ubuntu:~/hadoop/src/hadoop-0.2...

hdfs的shell命令操作

a1007904449的博客

08-06

2525

查看hdfs文件系统中指定目录的文件列表。对比linux命令ls 在hdfs文件系统中创建文件向HDFS文件中追加内容查看HDFS文件内容从本地路径上传文件至HDFS 在hdfs文件系统中下载文件在hdfs文件系统中创建目录在hdfs文件系统中删除文件在hdfs文件系统中修改文件名称（也可以用来移动文件到目录）在hdfs中拷贝文件到目录递归删除目录列出本地文件的内容（默认是hdfs文件系统）查找文件总结

通过shell命令访问HDFS

m0_71128221的博客

10-24

1779

通过shell命令访问HDFS

Hadoop(HDFS)的Shell操作

安歌Object

08-09

264

一、基本语法 bin/hadoop fs 具体命令二、命令大全 [admin@hadoop2 hadoop-2.7.2]$ bin/hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <s...

通过shell命令访问HDFS.md

最新发布

03-11

通过shell命令访问HDFS.md

通过shell命令访问hdfs

03-17

要通过shell命令访问HDFS，可以使用hadoop fs命令。如果要查看HDFS上的文件列表，可以使用hadoop fs -ls命令。如果要上传文件到HDFS，可以使用hadoop fs -put命令。如果要从HDFS中下载文件，可以使用hadoop fs -get...

hadoop基础：通过 Shell 命令访问 HDFS

m0_58198500的博客

10-24

4620

HDFS Shell 是由一系列类似 Linux Shell 的命令组成的。命令大致可分为操作命令、管理命令、其他命令三类。

实验二、HDFS shell操作及HDFS Java API编程

04-10

适合刚接触hadoop的学生或小白，内容包括HDFS shell操作及HDFS Java API编程有图片有代码

实验项目实战 HDFS 实验报告

04-18

一、实验目的 1. 理解 HDFS 体系架构。 2. 理解 HDFS 文件存储原理和数据读写过程。 3. 熟练掌握 HDFS Web UI 界面的使用。 4. 熟练掌握 HDFS Shell 常用命令的使用。 5. 熟练掌握 HDFS 项目开发环境的搭建。 6. 掌握使用 HDFS Java API 编写 HDFS 文件操作程序。二、实验环境本实验所需的软件环境包括全分布模式 Hadoop 集群、Eclipse。三、实验内容 1. 启动全分布模式 Hadoop 集群，守护进程包括 NameNode 、 DataNode 、 SecondaryNameNode、ResourceManager、NodeManager 和 JobHistoryServer。 2. 查看 HDFS Web 界面。 3. 练习 HDFS Shell 文件系统命令和系统管理命令。 4. 在 Hadoop 集群主节点上搭建 HDFS 开发环境 Eclipse。 5. 使用 HDFS Java API 编写 HDFS 文件操作程序，实现上传本地文件到 HDFS 的功能。。。。。

大数据系列（3）Shell命令操作HDFS

qq_43430261的博客

04-15

489

实战HDFS操作通过Shell命令对HDFS进行操作，与Linux操作文件类似通过编写Python程序对HDFS进行操作常用HDFS Shell命令类Linux系统：ls,cat,mkdir,rm,chmod,chown等 HDFS文件交互：copyFromLocal,copyToLocal,get,put ...

shell命令之 hdfs

大牛牛

10-12

917

一、 hadoop fs （hdfs dfs）文件操作 1) ls 显示目录下的所有文件或者文件夹使用方法： hadoop fs -ls [uri形式目录] 示例: hadoop fs –ls / 显示根目录下的所有文件和目录显示目录下的所有文件可以加 -R 选项示例: hadoop fs -ls -R / 2) cat 查看文件内容使用方法：hado...

Hadoop学习之HDFS（HDFS的shell操作命令）心得

ljs_0的博客

03-17

1617

HDFS的shell操作命令

通过HDFS Shell 经行HDFS操作

weixin_52442312的博客

05-19

267

hdfs 基本操作

Shell访问Hadoop中HDFS基本操作

weixin_45383965的博客

10-12

908

操作步骤：一：hadoop fs 和hdfs dfs 二：查看hdfs当中有哪些文件三：访问hdfs当中的文件内容四：将hdfs当中的内容下载到本地五：在hdfs当中创建文件夹六：将一个文件移动到另一个地方七：删除一个文件（如果是目录的话，需要加上-r）八：授权九：修改属主与属组十：文件的追加备注：常见问题一：在上传下载过程是有些服务没有启动，例如DN，这样get和put...

熟练掌握HDFS的Shell访问

zbq1334的博客

08-12

885

HDFS设计的主要目的是对海量数据进行存储，也就是说在其上能够存储很大量文件（可以存储TB级的文件）。HDFS将这些文件分割之后，存储在不同的DataNode上， HDFS 提供了两种访问接口：Shell接口和Java API 接口，对HDFS里面的文件进行操作，具体每个Block放在哪台DataNode上面，对于开发者来说是透明的。下面将介绍通过Shell接口对HDFS进行操作，HDFS处理...

利用shell或java操作HDFS

Java_ttcd的博客

08-16

297

1.Java运行Hadoop发生异常:HADOOP_HOME and hadoop.home.dir are unset。本地idea运行时候，可能报异常:HADOOP_HOME and hadoop.home.dir are unset。可以简写成 hdfs dfs -ls /3、可以采用get命令下载文件到本地。可以采用put命令进行文件上传。1、使用java进行文件上传。2、使用java进行文件下载。1、查看指定路径的信息。...