HDFS命令

最新推荐文章于 2024-04-19 20:08:17 发布
原创 最新推荐文章于 2024-04-19 20:08:17 发布 · 419 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#HDFS

对于文件的操作，命令与linux的类似，但是要在前面加上hadoop fs

其基本的格式为 hadoop fs <agrs>

  1. 查看文件 hadoop fs -ls


  2. 建立路径 hadoop fs -mkdir


  3. 删除文件夹 hadoop fs -rm -r

    -r参数代表将此文件夹连同此文件夹下的所有文件删除


  4. 将本地文件放到HDFS上 hadoop fs -put [dir1][dir2]

    参数dir1代表本地路径，dir2代表HDFS路径


  5. 将HDFS上的文件下载到本地 hadoop fs -get [dir1][dir2]

    参数dir1代表HDFS路径，dir2代表本地路径


  6. 查看文件 hadoop fs -cat


  7. 合并HDFS中的文件并下载到本地 hadoop fs -getmerge [dir] [file]

    参数dir代表HDFS存储要合并的文件所在的路径，file代表将合并结果存储的本地文件名

    text1和wordcount合并后的内容


  8. 使用HUE，service hue start

    端口为8888，用户名密码都是hdfs


  9. 打开FileBrowser 界面 上面基本的对文件夹的操作都有按钮选项，如新建文件，文件夹，删除文件

    进入刚刚操作的目录 /data/test下


Hadoop 之 HDFS命令
2201_75364488的博客
05-11 2704
HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一个核心组件，它是一个高度容错性的分布式文件系统，设计用于在廉价硬件上存储大规模数据集。HDFS的架构采用主从（Master/Slave）结构模型，包含一个。
【大数据学习篇3】HDFS命令操作与MR单词统计
m0_56073435的博客
05-09 728
su hd#查看/目录5#在/目录创建一个为test名字的文件夹#查看/目录#创建一个本地的txt文件#把创建的文件上传到hdfs#在hdfs查看上传的文件#下载hdfs文件到本地的linux当前目录lltotal 0#下载hdfs文件到当前目录lltotal 4。
HDFS操作命令
Joy_cj
08-30 827
操作HDFS     1、通过Web Console: 50070、50090     2、命令行         （1）操作命令  hdfs dfs *****             -mkdir  创建目录                 举例：hdfs dfs -mkdir /aaa                       hdfs dfs -mkdir -p /bbb/ccc    ...
HDFS的shell操作
weixin_30750335的博客
09-10 203
选项名称 使用格式 含义 -ls -ls <路径> 查看指定路径的当前目录结构 -lsr -lsr <路径> 递归查看指定路径的目录结构 -du -du <路径> 统计目录下个文件大小 -dus -dus <路径> 汇总统计目录下文件(夹)大小 -count -cou...
HDFS基本命令的使用
火麒马
12-31 579
hdfs文件的相关操作主要使用hadoop fs、hadoop dfs、hdfs dfs 命令，以下对最常用的相关命令进行简要说明。 hadoop fs -ls 显示当前目录结构，-ls -R 递归显示目录结构 hadoop fs -mkdir 创建目录 hadoop fs -rm 删除文件，-rm -R 递归删除目录和文件 hadoop fs -put [localsrc] [dst]...
HDFS常用命令（亲测版）
知其然，知其所以然
09-29 1362
1.hdfs常用基本命令参数 支持文件上传，删除，追加，查看，查找。 注意不支持文件修改（在集群中数据存储量很大，如果修改成本很大，所以一般不支持修改） 命令： hdfs dfs 查看参数列表（hadoop fs 等同于hdfs dfs 命令） 在HDFS中写路径全是绝对路径 2.常用命令实操 1）基本语法 [root@bigdata111 ~]#hdfs d...
HDFS常用操作
woailyoo0000的博客
12-26 444
一. -ls 查看目录信息 [root@bigdata01 hadoop-3.2.0]# hdfs dfs -ls hdfs://bigdata01:9000/ [root@bigdata01 hadoop-3.2.0]# hdfs中url这一串内容在使用时默认是可以省略的，因为hdfs在执行的时候会根据HADOOP_HOME自动识别配置文件中的fs.defaultFS属性 所以这样简写也是可以的： [root@bigdata01 hadoop-3.2.0]# hdfs dfs -ls / [ro..
HDFS命令指南相关学习
10-22
这些HDFS命令对于日常的数据操作至关重要，包括数据上传、下载、查看、权限管理等。熟悉并熟练使用这些命令能够大大提高Hadoop环境中的工作效率。在实际工作中，根据具体需求灵活运用这些命令，可以实现对HDFS的高效...
hdfs命令大全
04-13
### hdfs命令大全知识点 #### 一、概述 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目之一，旨在为海量数据提供存储。HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高...
【Hadoop】-HDFS的Shell操作[3]
weixin_63106307的博客
04-19 1684
Hadoop Distributed File System (HDFS) 是一个分布式文件系统，用于存储和处理大规模数据集。HDFS具有高可扩展性、高容错性和高吞吐量的特点，是Apache Hadoop框架的核心组件之一。HDFS提供了一个命令行界面（Shell），用于管理和操作文件系统中的文件和目录。使用HDFS的Shell，用户可以执行各种文件系统操作，如创建目录、上传文件、下载文件、删除文件等。HDFS的Shell操作类似于Linux的命令行操作，用户可以使用一系列命令来完成各种操作。
hadoop:hdfs：删除文件、文件夹等常用命令
热门推荐
Cdashuai的博客
09-01 2万+
配置环境变量后 上传文件/文件夹到hdfs： #上传文件到hdfs [root@doit1 y]# hdfs dfs -put 文件名 / #上传文件夹到hdfs [root@doit1 y]# hdfs dfs -put 文件夹名 / 删除hdfs上的文件/文件夹 #从hdfs上删除文件 [root@doit1 y]# hdfs dfs -rm -r /b.txt #从hdfs上删除文件夹 [root@doit1 y]# hdfs dfs -rm -r -skipTrash /d 添
【HDFS】rm命令的client行为
qq_37574764的博客
08-07 970
HDFS客户端的删除机制
Hadoop hdfs 常用命令
小夏陌的博客
10-08 4386
概述 前言 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。但也可以用hadoop dfs ,两者效果一样。(hadoop dfs命令已不再建议使用) 常用命令 -help 功能：输出这个命令参数手册 -ls 功能：显示目录信息 示例： hadoop fs -ls hdfs://server:9000/ 备注：这些参数中，所有的hdfs路径都可以简写 -----&gt...
Hdfs 常用命令
beautiful_huang的博客
12-09 303
hdfs文件的相关操作主要使用hadoop fs、hadoop dfs、hdfs dfs 命令，以下对最常用的相关命令进行简要说明。 hdfs dfs -ls 显示当前目录结构，-ls -R 递归显示目录结构 hdfs dfs -mkdir 创建目录 hdfs dfs -rm 删除文件，-rm -R 递归删除目录和文件 hdfs dfs -put [localsrc] [dst] 从本...
Hadoop之门之HDFS的简单命令
筑梦者
08-23 758
HDFS简单命令列表: -help             功能：输出这个命令参数手册 -ls                  功能：显示目录信息 示例： hadoop fs -ls hdfs://hadoop-server01:9000/ 备注：这些参数中，所有的hdfs路径都可以简写 -->hadoop fs -ls /   等同于上一
hdfs在hadoop中的使用和命令
Scbgv的博客
03-18 393
hdfs在hadoop中的使用和命令
HDFS的垃圾回收机制
萌兔兔MMQ！！
08-15 1750
要格外注意的是，在 步骤2 时，有可能在操作过程中提示File Not Exists，这时不要惊慌，文件并没有丢失，其实是进行了 步骤3，文件移动到了另一个目录而已。回收站checkpoint机制：进入回收站的文件首先进入Current目录，然后定期移动到一个时间戳目录，定期的间隔为60分钟。开启垃圾回收站 把删除的文件首先放置在回收站中 等待配置的时间结束 进行真正的数据删除。被删除的文件会进入回收站，默认保留1440分钟后完全删除。本质是把删除文件 首先移动一个指定的文件夹下面。垃圾回收机制演示效果。.
第3章 Hadoop---hdfs dfs常用命令的使用
m0_57382185的博客
03-28 4909
HDFS shell常用文件操作命令汇总 hdfs dfs文件操作命令
hdfs 命令
最新发布
09-06
在 Apache Flink 中，如果你使用 `FsStateBackend` 并配置了 HDFS 路径（例如 `hdfs://namenode:9000/flink/checkpoints`），Flink 会通过 Hadoop 的 Java API 与 HDFS 交互，进行 Checkpoint 和 Savepoint 的写入和读取操作。 --- ## ✅ 答案： ### ✅ Flink 本身**不直接调用 HDFS 命令行（如 `hdfs dfs -put`）**，而是使用 Hadoop 的 Java API 来操作 HDFS 上的 Checkpoint 数据。 --- ## ✅ Flink 是如何与 HDFS 交互的？ Flink 使用 `org.apache.hadoop.fs.FileSystem` 类（Hadoop API）来操作 HDFS 文件系统。这些操作包括： - 创建目录 - 写入 Checkpoint 文件 - 读取 Savepoint 文件 - 删除过期的 Checkpoint 这些操作是通过 Hadoop 客户端完成的，不需要调用命令行 `hdfs`。 --- ## ✅ 示例：Flink 使用 HDFS 作为 Checkpoint 存储路径 ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置 FsStateBackend，使用 HDFS 作为 Checkpoint 存储路径 env.setStateBackend(new FsStateBackend("hdfs://namenode:9000/flink/checkpoints")); // 启用 Checkpoint env.enableCheckpointing(5000); // 每 5 秒做一次 Checkpoint env.addSource(new FlinkKafkaConsumer<>("input-topic", new SimpleStringSchema(), props)) .keyBy(keySelector) .process(new MyKeyedProcessFunction()) .addSink(new MySink()); env.execute("Job with HDFS Checkpoint"); ``` --- ## ✅ Flink 如何配置 Hadoop 环境？ 为了使 Flink 能访问 HDFS，你需要： ### 1. 配置 `HADOOP_CLASSPATH`（可选） 确保 Flink 能找到 Hadoop 的类路径： ```bash export HADOOP_CLASSPATH=`hadoop classpath` ``` ### 2. 将 Hadoop 配置文件放到 Flink `conf` 目录下： - `core-site.xml` - `hdfs-site.xml` Flink 会自动加载这些配置文件来连接 HDFS。 ### 3. 使用 Hadoop 配置对象（可选） 你也可以在代码中手动设置 Hadoop 配置： ```java Configuration config = new Configuration(); config.set("fs.defaultFS", "hdfs://namenode:9000"); config.set("hadoop.job.ugi", "hadoop,password"); UserGroupInformation.setConfiguration(config); ``` --- ## ✅ Flink Checkpoint 在 HDFS 中的目录结构 Flink 的 Checkpoint 数据会以如下方式存储在 HDFS 中： ``` hdfs://namenode:9000/flink/checkpoints/ └── <job-id>/ ├── chk-123/ │ ├── a1-0 │ ├── a2-0 │ └── metadata └── latest ``` - `chk-123`：Checkpoint ID，123 表示第 123 次 Checkpoint - `metadata`：元数据文件，记录 Checkpoint 的元信息 - `latest`：符号链接，指向最新的 Checkpoint 目录 --- ## ✅ 你可以手动使用 HDFS 命令查看这些文件 虽然 Flink 不使用命令行操作 HDFS，但你可以使用 `hdfs dfs` 命令查看和管理这些文件： ```bash # 查看 Checkpoint 文件 hdfs dfs -ls /flink/checkpoints/<job-id>/chk-123 # 查看元数据文件内容 hdfs dfs -cat /flink/checkpoints/<job-id>/chk-123/metadata # 删除过期 Checkpoint hdfs dfs -rm -r /flink/checkpoints/<job-id>/chk-100 ``` --- ## ✅ 总结 | 操作 | 是否使用命令行 | |------|----------------| | Flink 写入 Checkpoint 到 HDFS | ❌ 不使用 `hdfs dfs` 命令行，使用 Hadoop Java API | | 查看或管理 Checkpoint 文件 | ✅ 可以使用 `hdfs dfs` 命令行 | | 配置 Flink 与 HDFS 的连接 | ✅ 通过 `flink-conf.yaml` 或 `core-site.xml` 配置 | --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值