HDFS命令

最新推荐文章于 2024-07-22 18:32:14 发布
原创 最新推荐文章于 2024-07-22 18:32:14 发布 · 162 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

1.创建目录

hadoop fs -mkdir /park01


2.查看目录

hadoop fs -ls /
hadoop fs -lsR / 递归查看

[img]http://dl2.iteye.com/upload/attachment/0124/8843/abfd12cf-fcaf-36c0-a08c-e8a403756c67.png[/img]

3.上传文件
文件路径 hdfs目录路径，即将文件上传的hdfs上的哪个目录中
hadoop fs -put ./file /park01


[img]http://dl2.iteye.com/upload/attachment/0124/8845/e4389b3a-e045-30d0-8205-0c20f93564f5.png[/img]

4.下载文件
hdfs文件路径，下载位置路径，即将hdfs上的文件下载到哪个地址
hadoop fs -get /park01/1.txt ./


[img]http://dl2.iteye.com/upload/attachment/0124/8847/f540e98d-710d-3c01-b2d7-827b45c91ca3.png[/img]

5.删除文件

hadoop fs -rm /park01/1.txt


[img]http://dl2.iteye.com/upload/attachment/0124/8849/358d83b6-6295-3168-bcda-6f7fb7524c2b.png[/img]

6.删除目录

hadoop fs -rmdir /park02

[img]http://dl2.iteye.com/upload/attachment/0124/8851/059e95f3-4f4d-3caf-8cc8-f08861099d73.png[/img]

删除非空目录

hadoop fs -rm -r /park01


[img]http://dl2.iteye.com/upload/attachment/0124/8853/f6fbd1b7-4d60-39e7-a5f1-50abb5051be7.png[/img]


7.查看文件内容

hadoop fs -cat /park01/1.txt


[img]http://dl2.iteye.com/upload/attachment/0124/8855/b2ae6cab-e2b5-3935-ae48-89c8bb34fcc6.png[/img]

hadoop fs -tail /park01/1.txt

8.目录重命名

hadoop fs -mv /park02 /park03


[img]http://dl2.iteye.com/upload/attachment/0124/8857/41622839-a4aa-33ea-8738-e514e59868dc.png[/img]

9.移动文件

hadoop fs -mv /1.txt /park03


[img]http://dl2.iteye.com/upload/attachment/0124/8859/9d2dee7d-cd17-3c5c-a695-d5aad90642ee.png[/img]


10.合并目录下文件内容
将 /park01 目录下的文件合并至3.txt文件内
hadoop fs -getmerge /park01 ./3.txt


[img]http://dl2.iteye.com/upload/attachment/0124/8861/cb6e06be-1998-3c4f-be6c-fd8d19481577.png[/img]

11.创建空白文件

hadoop fs -touch /park03/3.txt


[img]http://dl2.iteye.com/upload/attachment/0124/8863/b98cedc6-02ee-31aa-aa0e-d8dc6d3ea6e0.png[/img]

12.分区查看

hadoop fsck /park01/1.txt -files -blocks -locations -racks


[img]http://dl2.iteye.com/upload/attachment/0124/8995/296d9672-ea48-3f86-bef3-741b5e2265d9.png[/img]

13.进入安全模式

hadoop dfsadmin -safemode enter


[img]http://dl2.iteye.com/upload/attachment/0124/8997/286faec1-bc93-30c7-8fc8-cf2fbc9c146a.png[/img]

安全模式下不允许进行修改


[img]http://dl2.iteye.com/upload/attachment/0124/8999/1d264069-0f5b-3764-8eb0-16ed6b333f7c.png[/img]

14.退出安全模式

hadoop dfsadmin -safemode leave


[img]http://dl2.iteye.com/upload/attachment/0124/9001/3513c28f-4f2d-376c-aedb-71ee3cb2f551.png[/img]
Hadoop 之 HDFS命令
2201_75364488的博客
05-11 2631
HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一个核心组件，它是一个高度容错性的分布式文件系统，设计用于在廉价硬件上存储大规模数据集。HDFS的架构采用主从（Master/Slave）结构模型，包含一个。
HDFS常用命令
s_e_e_you_later的博客
10-12 6972
常用命令实操 （1）-help：输出这个命令参数 例 : bin/hdfs dfs -help rm （2）-ls: 显示目录信息 例 : hdfs dfs -ls / （3）-mkdir：在hdfs上创建目录 例 : hdfs dfs -mkdir -p /aaa/bbb/cc/dd （4）-moveFromLocal从本地剪切粘贴到hdfs 例 : hdfs dfs -moveFromLocal /home/Hadoop/a.txt /aaa/bbb/cc/dd （5）-moveToLoc
HDFS命令操作
烙痕丷的博客
07-06 423
命令基本格式:hadoop fs -cmd < args >          hdfs dfs =hadoop fs1.lshadoop fs -ls /1列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /1列出hdfs文件系统所有的目录和文件2.puthadoop fs -put < local file > < hdfs file &...
HDFS实战
weixin_52189442的博客
10-19 505
HDFS实战一、HDFS安装步骤1、上传安装包到linux12、解压3、解压后的目录4、配置（1）在 hadoop-env.sh 中配置java环境变量（2）修改hdfs-site.xml5、分发到集群的其他节点6、在linux1上初始化namenode7、单节点启动8、页面访问9、日志10、一键启停（1）配置从节点的主机名到workers文件中（2）修改一键启停的命令脚本11、添加系统环境变量二、HDFS的Shell操作（开发重点）1、基本命令2、默认操作本地文件系统3、操作分布式文件系统4、修改默认操作
HDFS
CH_sir的博客
05-26 201
安装 请点击下载hadoop-2.6.4 解压到 /home/hdfs/hadoop useradd hdfs // 创建hdfs用户 passwd hdfs // 设置hdfs用户的登陆密码 su hdfs // 切换到hdfs用户登陆 cd ~ // 进入hdfs的家目录 rz // 上传windows本地的文件到此家目录 tar -zxvf hadoop-2.6.4.tar.gz // 解压...
HDFS常用命令（亲测版）
知其然，知其所以然
09-29 1267
1.hdfs常用基本命令参数 支持文件上传，删除，追加，查看，查找。 注意不支持文件修改（在集群中数据存储量很大，如果修改成本很大，所以一般不支持修改） 命令： hdfs dfs 查看参数列表（hadoop fs 等同于hdfs dfs 命令） 在HDFS中写路径全是绝对路径 2.常用命令实操 1）基本语法 [root@bigdata111 ~]#hdfs d...
HDFS命令指南相关学习
10-22
这些HDFS命令对于日常的数据操作至关重要，包括数据上传、下载、查看、权限管理等。熟悉并熟练使用这些命令能够大大提高Hadoop环境中的工作效率。在实际工作中，根据具体需求灵活运用这些命令，可以实现对HDFS的高效...
hdfs命令大全
04-13
### hdfs命令大全知识点 #### 一、概述 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目之一，旨在为海量数据提供存储。HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高...
大数据技术基础实验报告-HDFS常用操作命令.doc
08-21
本实验报告主要关注HDFS的常用操作命令，这些命令是管理员和数据分析师日常工作中不可或缺的工具。 实验开始时，通过执行`start-dfs.sh`命令启动HDFS服务。这是在Hadoop集群中启动所有DataNode和NameNode节点的关键...
hdfs
qq_43408376的博客
03-28 349
HDFS JAVA import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.FileInputStream; import java.io.IOException; import java...
hdfs命令
m0_62975692的博客
07-22 476
hdfs dfs -get 从HDFS下载文件到本地。hdfs dfs -put 从本地上传文件至HDFS。hdfs dfs -find -name 在指定路径中查找文件。hdfs dfs -du -h 显示文件的大小或者目录中所有文件的大小。hdfs dfs -cp 拷贝文件。
大数据组件-hdfs 常用命令
Eistert
12-20 1210
使用shell脚本导出数据库中的数据，上传至HDFS中 mysql -u'user' -p'xxxx' -h 'host-ip' -e "select fuid,uid from video.follower_00" 运行脚本 sh collect_data_full.sh sh collect_data_incr.sh 查看数据命令 hdfs dfs -ls /user/cdh/ods hdfs dfs -cat /user/cdh/ods/user/20210413/part-m-00000 |
hdfs（hadoop分布式文件系统） 常用操作命令
weixin_44703894的博客
09-22 995
[hadoop fs -]=[hdfs dfs -] (1)启动集群 全启动： start-all.sh start-dfs.sh 单独 start-yarn.sh 单独 单独启动节点： hadoop-daemon.sh start namenode 关闭： hadoop-daemon.sh stop namenode 关闭所有： stop-all.sh stop-dfs.sh 单独 stop-yarn.sh 单独 （2）帮助信息 hadoop fs -help
hdfs的命令行使用
略
06-08 458
语法：hdfs dfs 参数 hdfs dfs -ls / 查看根路径下面的文件或文件夹 hdfs dfs -mkdir [-p]/xx/xxx 在hdfs上面 [递归的] 创建文件夹 hdfs dfs -moveFromLocal sourceDir（本地磁盘的文件或文件夹的路径）destDir（hdfs的路径）【本地 移动 到 hdfs】 hdfs dfs -mv hdf...
hdfs dfs //查看所有命令
Deng872347348的博客
12-08 1903
hdfs dfs //查看所有命令 hdfs dfs -help ls //查阅帮助 hdfs dfs -usage ls //查看命令格式 hdfs dfs -ls//列出目录和文件 hdfs dfs -mkdir//创建文件夹 hdfs dfs -cat/text//查看文件内容 hdfs dfs -touchz//新建文件 hdfs dfs -appendToFile//追加文件 hdfs dfs -put/get//上传/下载文件 hdfs dfs -rm//删除文件 ...
hadoop hdfs常用命令
东城庞太师
02-02 518
查看文件 hadoop fs -ls file:///root/ hadoop fs -ls /user/hadoop/file1 创建目录 hadoop fs -mkdir –p /user/hadoop/dir1 将单个src或多个srcs从本地文件系统复制到目标文件系统。 -p：保留访问和修改时间，所有权和权限。 -f：覆盖目的地（如果已经存在） hadoop fs -put -f l...
HDFS分布式文件系统
02-28 1123
温馨提示：欢迎加入hadoop技术交流QQ群：338485052. 一、HDFS的简介 1、相关概念 （1）Block HDFS中的块Block是个抽象的概念，它比一般文件系统中的块要大得多。 当我们在配置Hadoop系统参数时会看到，HDFS默认的Block为64MB。 HDFS分布式文件系统的文件也被分成块进行存储，这是文件存储处理 的基本逻辑单元。 HDF
hdfs 命令
最新发布
09-06
在 Apache Flink 中，如果你使用 `FsStateBackend` 并配置了 HDFS 路径（例如 `hdfs://namenode:9000/flink/checkpoints`），Flink 会通过 Hadoop 的 Java API 与 HDFS 交互，进行 Checkpoint 和 Savepoint 的写入和读取操作。 --- ## ✅ 答案： ### ✅ Flink 本身**不直接调用 HDFS 命令行（如 `hdfs dfs -put`）**，而是使用 Hadoop 的 Java API 来操作 HDFS 上的 Checkpoint 数据。 --- ## ✅ Flink 是如何与 HDFS 交互的？ Flink 使用 `org.apache.hadoop.fs.FileSystem` 类（Hadoop API）来操作 HDFS 文件系统。这些操作包括： - 创建目录 - 写入 Checkpoint 文件 - 读取 Savepoint 文件 - 删除过期的 Checkpoint 这些操作是通过 Hadoop 客户端完成的，不需要调用命令行 `hdfs`。 --- ## ✅ 示例：Flink 使用 HDFS 作为 Checkpoint 存储路径 ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置 FsStateBackend，使用 HDFS 作为 Checkpoint 存储路径 env.setStateBackend(new FsStateBackend("hdfs://namenode:9000/flink/checkpoints")); // 启用 Checkpoint env.enableCheckpointing(5000); // 每 5 秒做一次 Checkpoint env.addSource(new FlinkKafkaConsumer<>("input-topic", new SimpleStringSchema(), props)) .keyBy(keySelector) .process(new MyKeyedProcessFunction()) .addSink(new MySink()); env.execute("Job with HDFS Checkpoint"); ``` --- ## ✅ Flink 如何配置 Hadoop 环境？ 为了使 Flink 能访问 HDFS，你需要： ### 1. 配置 `HADOOP_CLASSPATH`（可选） 确保 Flink 能找到 Hadoop 的类路径： ```bash export HADOOP_CLASSPATH=`hadoop classpath` ``` ### 2. 将 Hadoop 配置文件放到 Flink `conf` 目录下： - `core-site.xml` - `hdfs-site.xml` Flink 会自动加载这些配置文件来连接 HDFS。 ### 3. 使用 Hadoop 配置对象（可选） 你也可以在代码中手动设置 Hadoop 配置： ```java Configuration config = new Configuration(); config.set("fs.defaultFS", "hdfs://namenode:9000"); config.set("hadoop.job.ugi", "hadoop,password"); UserGroupInformation.setConfiguration(config); ``` --- ## ✅ Flink Checkpoint 在 HDFS 中的目录结构 Flink 的 Checkpoint 数据会以如下方式存储在 HDFS 中： ``` hdfs://namenode:9000/flink/checkpoints/ └── <job-id>/ ├── chk-123/ │ ├── a1-0 │ ├── a2-0 │ └── metadata └── latest ``` - `chk-123`：Checkpoint ID，123 表示第 123 次 Checkpoint - `metadata`：元数据文件，记录 Checkpoint 的元信息 - `latest`：符号链接，指向最新的 Checkpoint 目录 --- ## ✅ 你可以手动使用 HDFS 命令查看这些文件 虽然 Flink 不使用命令行操作 HDFS，但你可以使用 `hdfs dfs` 命令查看和管理这些文件： ```bash # 查看 Checkpoint 文件 hdfs dfs -ls /flink/checkpoints/<job-id>/chk-123 # 查看元数据文件内容 hdfs dfs -cat /flink/checkpoints/<job-id>/chk-123/metadata # 删除过期 Checkpoint hdfs dfs -rm -r /flink/checkpoints/<job-id>/chk-100 ``` --- ## ✅ 总结 | 操作 | 是否使用命令行 | |------|----------------| | Flink 写入 Checkpoint 到 HDFS | ❌ 不使用 `hdfs dfs` 命令行，使用 Hadoop Java API | | 查看或管理 Checkpoint 文件 | ✅ 可以使用 `hdfs dfs` 命令行 | | 配置 Flink 与 HDFS 的连接 | ✅ 通过 `flink-conf.yaml` 或 `core-site.xml` 配置 | --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值