HDFS 命令

最新推荐文章于 2023-05-09 15:45:52 发布
原创 最新推荐文章于 2023-05-09 15:45:52 发布 · 291 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了HDFS的常用操作命令，包括查看目录信息、创建目录、文件的移动与复制、查看文件内容、修改副本数量等。同时提到了在安全模式下进行操作的注意事项以及如何合并下载多个文件。

显示目录信息
hadoop fs -ls /
创建目录
hadoop fs -mkdir -p /pys/mkdirtest
剪切文件 本地目录 HDFS目录
hadoop fs -moveFromLocal ./test.txt /pys/
拷贝文件 本地目录 HDFS目录
hadoop fs -copyFromLocal ./test.txt /pys/
hadoop fs -put ./test.txt /pys/
拷贝文件到本地 HDFS目录 本地目录
hadoop fs -copyToLocal /pys/test.txt ./
hadoop fs -get /pys/test.txt ./
追加文件到已存在的文件末尾 当前文件 目标文件
不支持修改文件
hadoop fs -appendToFile ./test01.txt /pys/test.txt
查看HDFS文件内容
hadoop fs -cat /pys/test.txt

无法使用appenToFile

hadoop fs -appendToFile 3 /2

20/07/15 09:29:18 INFO hdfs.DFSClient: Exception in createBlockOutputStream
java.io.IOException: Got error, status message , ack with firstBadLink as 172.21.0.7:50010
	at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:140)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1363)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.setupPipelineForAppendOrRecovery(DFSOutputStream.java:1188)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:455)
20/07/15 09:29:18 WARN hdfs.DFSClient: Error Recovery for block BP-31621113-127.0.0.1-1594741021462:blk_1073741841_1021 in pipeline DatanodeInfoWithStorage[106.55.63.155:50010,DS-37f9b2de-2d14-4193-9767-e247b6058ae9,DISK], DatanodeInfoWithStorage[120.53.240.85:50010,DS-53d8f2de-e259-4361-b878-1a1a96225ef7,DISK], DatanodeInfoWithStorage[172.21.0.7:50010,DS-4f026c85-cdc7-446e-9664-478aac9a5d0f,DISK]: bad datanode DatanodeInfoWithStorage[172.21.0.7:50010,DS-4f026c85-cdc7-446e-9664-478aac9a5d0f,DISK]
20/07/15 09:29:19 WARN hdfs.DFSClient: DataStreamer Exception
java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[DatanodeInfoWithStorage[106.55.63.155:50010,DS-37f9b2de-2d14-4193-9767-e247b6058ae9,DISK], DatanodeInfoWithStorage[120.53.240.85:50010,DS-53d8f2de-e259-4361-b878-1a1a96225ef7,DISK]], original=[DatanodeInfoWithStorage[106.55.63.155:50010,DS-37f9b2de-2d14-4193-9767-e247b6058ae9,DISK], DatanodeInfoWithStorage[120.53.240.85:50010,DS-53d8f2de-e259-4361-b878-1a1a96225ef7,DISK]]). The current failed datanode replacement policy is DEFAULT, and a client may configure this via 'dfs.client.block.write.replace-datanode-on-failure.policy' in its configuration.
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.findNewDatanode(DFSOutputStream.java:918)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.addDatanode2ExistingPipeline(DFSOutputStream.java:992)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.setupPipelineForAppendOrRecovery(DFSOutputStream.java:1160)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:455)
20/07/15 09:29:19 ERROR hdfs.DFSClient: Failed to close inode 16424
java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[DatanodeInfoWithStorage[106.55.63.155:50010,DS-37f9b2de-2d14-4193-9767-e247b6058ae9,DISK], DatanodeInfoWithStorage[120.53.240.85:50010,DS-53d8f2de-e259-4361-b878-1a1a96225ef7,DISK]], original=[DatanodeInfoWithStorage[106.55.63.155:50010,DS-37f9b2de-2d14-4193-9767-e247b6058ae9,DISK], DatanodeInfoWithStorage[120.53.240.85:50010,DS-53d8f2de-e259-4361-b878-1a1a96225ef7,DISK]]). The current failed datanode replacement policy is DEFAULT, and a client may configure this via 'dfs.client.block.write.replace-datanode-on-failure.policy' in its configuration.
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.findNewDatanode(DFSOutputStream.java:918)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.addDatanode2ExistingPipeline(DFSOutputStream.java:992)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.setupPipelineForAppendOrRecovery(DFSOutputStream.java:1160)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:455)

修改hdfs-site.xml文件，添加或者修改如下两项：

<!-- appendToFile追加 -->
<property>
       <name>dfs.support.append</name>
       <value>true</value>
</property>

<property>
       <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
       <value>NEVER</value>
</property>

<property>
       <name>dfs.client.block.write.replace-datanode-on-failure.enable</name>
       <value>true</value>
</property>

xsync 分开一下修改hdfs 文件
然后重启集群
Cannot append to file/pys/test.txt. Name node is in safe mode.
hadoop dfsadmin -safemode leave命令离开安全模式

从HDFS一个路径拷贝到HDFS另一个路径
hadoop fs -cp /pys/test.txt /pys/mkdirtest/
从HDFS一个路径移动到HDFS另一个路径
hadoop fs -mv /pys/test.txt /pys/mkdirtest/
从HDFS上合并下载多个文件
hadoop fs -getmerge /pys/* ./hebing.txt
删除HDFS上的文件或者文件夹
hadoop fs -rm /pys/test.txt 删除文件
hadoop fs -rm -r /pys/mkdirtest/ 删除文件夹
删除HDFS上的空目录
hadoop fs -rmdir /test
统计文件夹大小
hadoop fs -du /pys
设置HDFS文件的副本数量
hadoop fs -setrep 5 /pys/test.txt

HDFS Pipeline Recovery
zhttly的博客
11-13 582
pipeline 写入的三个阶段 1.pipeline setup：Client 发送一个写请求沿着 pipeline 传递下去，最后一个 DataNode 收到后发回一个确认消息。Client 收到确认后，pipeline 设置准备完毕，可以往里面发送数据了。 2.data streaming：Client 将一个 block 拆分为多个 packet 来发送（默认一个 block 64MB，太大所以需要拆分）。Client 持续往 pipeline 发送 packet，在收到 packet .
Hadoop 之 HDFS命令
2201_75364488的博客
05-11 2708
HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一个核心组件，它是一个高度容错性的分布式文件系统，设计用于在廉价硬件上存储大规模数据集。HDFS的架构采用主从（Master/Slave）结构模型，包含一个。
hadoop启动和运行中的error总结和处理方法
weixin_30340745的博客
04-02 338
错误一： 2010-11-09 16:59:07,307 INFO org.apache.hadoop.ipc.Server: Error register getProtocolVersion java.lang.IllegalArgumentException: Duplicate metricsName:getProtocolVersion at org.apa...
Hadoop海量put时出现的socket超时导致put失败解决方案
大数据框架Hadoop学习
05-16 1195
当一个HDFS系统同时处理许多个并行的put操作，往HDFS上传数据 时，有时候会出现dfsclient 端发生socket 链接超时的报错，有的时候甚至会由于这种原因导致最终的put操作失败，造成数据上传不完整。 log类似如下： All datanodes *** are bad. Aborting... 类似这样的错误，常常会在并行的put操作比较多，比如 60-80个，每个put的数...
hdfs相关问题及解决方案归档
weixin_44976835的博客
08-26 3200
目录问题1：reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限问题2：Too many fetch-failures问题3：处理MR速度特别的慢问题4：能够启动datanode，但无法访问，也无法结束问题5：节点断联问题6：JVM内存不够问题7：Hadoop添加节点的方法问题8：给单个node新加硬盘问题9：IO写操作出现问题问题10：HDFS退服节点的方法问题11：IO异常问题12：status of 255 error问题13：sort by value问题14：restar
hadoop海量put时出现的socket超时导致put失败解决方案
dy_252的专栏
09-21 965
当一个HDFS系统同时处理许多个并行的put操作，往HDFS上传数 据 时，有时候会出现dfsclient 端发生socket 链接超时的报错，有的时候甚至会由于这种原因导致最终的put操作失败，造成数据上传不完整。 log类似如下： All datanodes  *
HDFS命令指南相关学习
10-22
这些HDFS命令对于日常的数据操作至关重要，包括数据上传、下载、查看、权限管理等。熟悉并熟练使用这些命令能够大大提高Hadoop环境中的工作效率。在实际工作中，根据具体需求灵活运用这些命令，可以实现对HDFS的高效...
hdfs命令大全
04-13
### hdfs命令大全知识点 #### 一、概述 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目之一，旨在为海量数据提供存储。HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高...
HDFS命令
weixin_44976835的博客
08-20 1454
hdfs常用命令： 第一部分：hdfs文件系统命令 第一类：文件路径增删改查系列： hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件夹dir hdfs dfs -ls 查看目录文件信息 hdfs dfs -lsr 递归查看文件目录信息 hdfs dfs -stat path 返回指定路径的信息 第二类：空间大小查看系列命令： hdfs dfs -du -h dir 按照适合阅读的形式人性化显示文件大小 hdfs dfs -dus uri 递归显示目标
【大数据学习篇3】HDFS命令操作与MR单词统计
m0_56073435的博客
05-09 728
su hd#查看/目录5#在/目录创建一个为test名字的文件夹#查看/目录#创建一个本地的txt文件#把创建的文件上传到hdfs#在hdfs查看上传的文件#下载hdfs文件到本地的linux当前目录lltotal 0#下载hdfs文件到当前目录lltotal 4。
Hadoop-HDFS DFSClient的严重bug
Developing Hadoop-based applications
03-30 323
上一篇说到Shell 对自身DN造成的性能影响，本篇说一下它对DFSClient的冲击。 不知道有没有朋友像我这样病态的使用Hadoop， 我的DFSClient总是一直Running的，因为我需要它时刻为我做事，所以我不会轻意重新创建一个与NN相连的DFSClient。 闲言少述。 Shell 的执行对正在put文件的客户端会产生下列异常： 1. DataStreamer Ex...
hadoop上传报错处理方式
tiger_Angle
03-28 2685
2019-03-28 14:12:56,809 INFO hdfs.DataStreamer: Slow ReadProcessor read fields for block BP-132490593-192.168.231.130-1550804841981:blk_1073741825_1001 took 43889ms (threshold=30000ms); ack: seqno: 2...
大数据集群常见问题总结
weixin_30673611的博客
02-20 578
　　项目将近尾声，上线一切顺利，在开发过程中遇到了不少的问题，趁着空闲时间对项目中遇到的常见问题做一个总结，当作一个笔记，问题如下： java.io.IOException: Could not obtain block: blk_194219614024901469_1100 file=/user/hive/warehouse/src_20180124_log/src_20180124_l...
一次RegionServer GC导致会话超时下线的原因分析记录
mtj66的博客，交流WX:SpringBreeze1104
10-30 7839
查看了regionserver的log日志：  2017-10-30 03:18:02,718 INFO SecurityLogger.org.apache.hadoop.hbase.Server: Connection from 172.16.4.36 port: 38016 with unknown version info 2017-10-30 03:20:32,334
Understanding HDFS Recovery Processes (Part 2)
BIT工匠
11-20 779
source: http://blog.cloudera.com/blog/2015/03/understanding-hdfs-recovery-processes-part-2/ Having a good grasp of HDFS recovery processes is important when running or moving toward productio
HRegionServer异常下线问题
weixin_30593443的博客
10-19 894
==版本== Hadoop：2.7.1 HBase：1.2.1 Zookeeper：3.4.6 ==现象== HBase集群启动一段时间之后，一部分HRegionServer会异常下线重启（用systemctl启动的，所以会重启） ==日志== 2018-09-21 00:27:51,972 WARN [regionserver/dscn34/10.11.2.3...
【Pipeline】 Recovery
LifeIsGood
09-24 336
分享一波大数据&Java的学习视频和书籍: ### Java与大数据资源分享 本文来学习Pipeline Recovery的相关知识。 当client写文件时，数据是以block的形式相继顺序写入的。HDFS把block又拆分成很多packet把这些packet传播到write pipeline中的Datanodes。如下图所示： write pipeline有三个过程： 1...
HDFS 客户端常见报错整理
eli的博客
11-16 5190
向 NameNode 进行 RPC 请求向 DataNode 进行 IO 读写。无论哪个过程，如果出现异常，一般都不会导致业务失败，也都有重试机制，实际上，业务想要失败是很难的。在实际使用过程中，客户端和 NN 之间的 RPC 交互一般不会有什么报错，大部分报错都出现在和 DN 的 IO 交互过程中，这篇文章主要总结一下常见的 DN IO 报错。
org.apache.hadoop.hdfs.DFSClient: Error Recovery for null bad datanode[0] nodes == null问题可能出现的原因
luoluowushengmimi的专栏
01-22 2611
2014年-1-22日遇到了这个问题： 2014-01-22 14:36:18,346 WARN org.apache.hadoop.hdfs.DFSClient: Error Recovery for null bad datanode[0] nodes == null 2014-01-22 14:36:18,346 WARN org.apache.hadoop.hdfs.DFSClient
hdfs 命令
最新发布
09-06
在 Apache Flink 中，如果你使用 `FsStateBackend` 并配置了 HDFS 路径（例如 `hdfs://namenode:9000/flink/checkpoints`），Flink 会通过 Hadoop 的 Java API 与 HDFS 交互，进行 Checkpoint 和 Savepoint 的写入和读取操作。 --- ## ✅ 答案： ### ✅ Flink 本身**不直接调用 HDFS 命令行（如 `hdfs dfs -put`）**，而是使用 Hadoop 的 Java API 来操作 HDFS 上的 Checkpoint 数据。 --- ## ✅ Flink 是如何与 HDFS 交互的？ Flink 使用 `org.apache.hadoop.fs.FileSystem` 类（Hadoop API）来操作 HDFS 文件系统。这些操作包括： - 创建目录 - 写入 Checkpoint 文件 - 读取 Savepoint 文件 - 删除过期的 Checkpoint 这些操作是通过 Hadoop 客户端完成的，不需要调用命令行 `hdfs`。 --- ## ✅ 示例：Flink 使用 HDFS 作为 Checkpoint 存储路径 ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置 FsStateBackend，使用 HDFS 作为 Checkpoint 存储路径 env.setStateBackend(new FsStateBackend("hdfs://namenode:9000/flink/checkpoints")); // 启用 Checkpoint env.enableCheckpointing(5000); // 每 5 秒做一次 Checkpoint env.addSource(new FlinkKafkaConsumer<>("input-topic", new SimpleStringSchema(), props)) .keyBy(keySelector) .process(new MyKeyedProcessFunction()) .addSink(new MySink()); env.execute("Job with HDFS Checkpoint"); ``` --- ## ✅ Flink 如何配置 Hadoop 环境？ 为了使 Flink 能访问 HDFS，你需要： ### 1. 配置 `HADOOP_CLASSPATH`（可选） 确保 Flink 能找到 Hadoop 的类路径： ```bash export HADOOP_CLASSPATH=`hadoop classpath` ``` ### 2. 将 Hadoop 配置文件放到 Flink `conf` 目录下： - `core-site.xml` - `hdfs-site.xml` Flink 会自动加载这些配置文件来连接 HDFS。 ### 3. 使用 Hadoop 配置对象（可选） 你也可以在代码中手动设置 Hadoop 配置： ```java Configuration config = new Configuration(); config.set("fs.defaultFS", "hdfs://namenode:9000"); config.set("hadoop.job.ugi", "hadoop,password"); UserGroupInformation.setConfiguration(config); ``` --- ## ✅ Flink Checkpoint 在 HDFS 中的目录结构 Flink 的 Checkpoint 数据会以如下方式存储在 HDFS 中： ``` hdfs://namenode:9000/flink/checkpoints/ └── <job-id>/ ├── chk-123/ │ ├── a1-0 │ ├── a2-0 │ └── metadata └── latest ``` - `chk-123`：Checkpoint ID，123 表示第 123 次 Checkpoint - `metadata`：元数据文件，记录 Checkpoint 的元信息 - `latest`：符号链接，指向最新的 Checkpoint 目录 --- ## ✅ 你可以手动使用 HDFS 命令查看这些文件 虽然 Flink 不使用命令行操作 HDFS，但你可以使用 `hdfs dfs` 命令查看和管理这些文件： ```bash # 查看 Checkpoint 文件 hdfs dfs -ls /flink/checkpoints/<job-id>/chk-123 # 查看元数据文件内容 hdfs dfs -cat /flink/checkpoints/<job-id>/chk-123/metadata # 删除过期 Checkpoint hdfs dfs -rm -r /flink/checkpoints/<job-id>/chk-100 ``` --- ## ✅ 总结 | 操作 | 是否使用命令行 | |------|----------------| | Flink 写入 Checkpoint 到 HDFS | ❌ 不使用 `hdfs dfs` 命令行，使用 Hadoop Java API | | 查看或管理 Checkpoint 文件 | ✅ 可以使用 `hdfs dfs` 命令行 | | 配置 Flink 与 HDFS 的连接 | ✅ 通过 `flink-conf.yaml` 或 `core-site.xml` 配置 | --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值