Hdfs dfs命令使用

最新推荐文章于 2024-08-17 09:12:05 发布
最新推荐文章于 2024-08-17 09:12:05 发布
阅读量415 收藏
点赞数
文章标签： 大数据

如果是把数据放在了hdfs系统，那么我们如何访问他们呢？

1.hdfs查看文件夹

./hdfs dfs -ls hdfs://mycluster/output/online/

2.hdfs创建目录dfs创建文件夹

./hdfs dfs -mkdir hdfs://mycluster/output/online/
./hdfs dfs -mkdir hdfs://mycluster/output/online/pv

这里有个坑，如果你直接创建多级目录，会得到错误提示，所以要一级一级的去建立目录才行！

16/12/22 18:32:54 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
mkdir: `hdfs://mycluster/output/online/pv': No such file or directory

3.创建hive表


CREATE EXTERNAL TABLE `pv_table`(
`city_name` string,
`pv` string,
`product_line` string)
PARTITIONED BY (
  `day` string)
ROW FORMAT DELIMITED
  FIELDS TERMINATED BY '\t'
STORED AS INPUTFORMAT
  'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  'hdfs://mycluster/output/online/pv')
WWWWWWWWolf
关注
hdfs dfs常用命令
Hbin_优快云的博客
11-01 3014
1.查看所有命令 查看hdfs dfs下的所有可用命令: 2查看某目录下文件列表 hdfs dfs -ls / 3.查看某文本文件的内容 hdfs dfs -cat /tmp/input.txt 4.创建目录 在hdfs中创建/tmp/tianliangedu目录: hdfs dfs -mkdir /tmp/tianliangedu 5.删除目录 hdfs dfs -rm -r /tmp/t...
hdfs dfs 命令
KingWeiGG的博客
06-30 1068
[-appendToFile … ] [-cat [-ignoreCrc] …] [-checksum …] [-chgrp [-R] GROUP PATH…] [-chmod [-R] <MODE[,MODE]… | OCTALMODE> PATH…] [-chown [-R] [OWNER][:[GROUP]] PATH…] -chown -R修改这个文件夹和子文件的权限 [-copyFromLocal [-f] [-p] [-l] … ] [-copyToLocal [-p] [-
hadoop hdfs dfs基本操作
热门推荐
archer的技术故事
04-09 3万+
hadoop hdfs dfs基本操作 本文主要参考： http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/FileSystemShell.html 根据上面官方文档的提示我们能够知道可以通过shell的方式访问hdfs中的数据，对数据进行操作。那么首先让我们看一下hdfs的版本，使用命令h
云计算--hdfs dfs 命令
aizhiyou1618的博客
06-13 415
在hadoop安装目录下：/hadoop2/hadoop-2.7.3 1.创建目录 bin/hdfs dfs -mkdir /user bin/hdfs dfs -mkdir /user/<username> 在HDFS中创建一个名为path的目录，如果它的上级目录不存在，也会被创建，如同linux中的mkidr –p。 bin/hdfs dfs -mkdir -p...
HDFS dfs指令
胖胖的博客
09-15 590
HDFS dfs指令
hdfs dfs -Linux 常用命令练习
whs0329的博客
12-04 2382
1.先查看环境： [hadoop@hadoop001 ~]$ jps 22673 SecondaryNameNode 22502 DataNode 22396 NameNode 24397 Jps 2.命令练习： 2.1 查看目录 [hadoop@hadoop001 ~]$ hdfs dfs -ls / Found 5 items drwxr-xr-x - hadoop supergroup 0 2021-12-01 23:16 /input drwxr-xr-x - had...
aws s3命令与hdfs dfs命令/hadoop fs命令（笔记）
算法工程师
01-17 2798
aws s3命令与hdfs dfs命令
Hdfs(七) 常用命令
技术博客
08-17 786
用法：hdfs dfs -mv URI [URI ...] <dst> 或 hdfs dfs -rm [-f] [-r |-R] [-skipTrash] URI [URI ...]用法：hdfs dfs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>用法：hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>用法：hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI]
hadoop——hdfs dfs 常用命令用法
CarveStone的博客
10-19 1819
hdfs dfs 常用命令用法
hdfs dfs 命令学习实践
weixin_46028840的博客
11-28 2304
查看目录或文件参数：参数释义：-C 仅显示文件和目录的路径-d 目录列为普通文件-h 以人类可读的方式显示文件大小，而不是按字节数-R 递归地列出目录的内容-t 按修改时间对文件排序（最近的第一次）-S 按大小对文件进行倒序排序-r 颠倒顺序排列-u 使用上次访问的时间而不是修改来显示和排序示例：1.1 以 K M G 可读方式显示文件大小(以首字母正序、倒序排列)
hdfs常用操作
BXiron的博客
11-21 1686
查看文件常用命令 命令格式 1.hdfs dfs -ls path 查看文件列表 2.hdfs dfs -lsr path 递归查看文件列表 3.hdfs dfs -du path 查看path下的磁盘情况，单位字节 使用示例 1.hdfs dfs -ls / 查看当前目录 2.hdfs dfs - lsr / 递归查看当前目录 创建文件夹 命令格式 hdfs dfs -mkdir pa
HDFS中dfs 命令
雨ゆこ
07-18 1万+
Usage: hadoop fs [generic options] [-appendToFile ... ] [-cat [-ignoreCrc] ...] [-checksum ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-c
插入Hive表数据用 hdfs dfs -put 和 load data 方式，把hdfs里的文件映射成Hive表（附案例）
奇迹虎虎的博客
02-17 3957
hdfs dfs -put 方式（Linux终端上操作，实现hive表映射文件）。 load data 方式（SQL上操作，实现文件插入hive表）。
HDFS命令
weixin_51699336的博客
06-11 1953
hdfs内部进行文件移动：hdfs dfs -mv /hdfs文件1 /hdfs文件2 4.上传文件 本地文件放到hdfs某个目录：hdfs dfs -put /本地文件/ /hdfs目录/ 5.下载文件 将hdfs文件下载到linux本地 6.文件内容 如果数据量比较大，不能使用 查看hello.txt文件内容：hdfs dfs -cat /test/hello.txt 查看文件末尾，一直等待查看：hdfs dfs -tail -f /path 查看文件的大小：hdfs dfs -du
hdfs dfs
Code_lr的专栏
12-22 1223
hdfs使用
hdfs dfs 操作命令
NoBug
09-09 1641
【代码】hdfs dfs 操作命令。
HDFS dfs常用命令
weixin_58494422的博客
07-10 1821
HDFS dfs常用命令
【小白视角】大数据基础实践(三)HDFS的简单基本操作_使用客户端节点执行hdfs dfs -put文件上传至hdfs很慢(1)
2401_84166965的博客
04-13 1532
中…(img-8XJLoYci-1712999591534)][外链图片转存中…(img-cd7dBL2E-1712999591534)]
hdfs dfs cp命令如何使用
最新发布
06-20
### HDFS中 `dfs cp` 命令的使用方法 在HDFS中，`hdfs dfs -cp` 命令用于在HDFS内部复制文件或目录。该命令的基本语法如下： ```bash hdfs dfs -cp <源路径> <目标路径> ``` 通过此命令，用户可以在HDFS内部将一个文件或整个目录从一个位置复制到另一个位置[^1]。例如，如果需要将文件 `/user/data/file1.txt` 复制到 `/user/backup/` 目录下，可以执行以下命令： ```bash hdfs dfs -cp /user/data/file1.txt /user/backup/ ``` 此外，`hdfs dfs -cp` 也支持递归复制目录。例如，要将目录 `/user/data/` 下的所有内容复制到 `/user/archive/`，可以执行以下命令： ```bash hdfs dfs -cp -r /user/data/ /user/archive/ ``` 需要注意的是，`hdfs dfs` 是专门针对HDFS文件系统设计的操作命令，替代了早期的 `hadoop dfs` 命令，并且更加推荐使用[^2]。 ### 权限管理与注意事项 在执行 `hdfs dfs -cp` 命令时，确保当前用户具有对源路径和目标路径的适当权限。如果遇到权限问题，可以使用 `hdfs dfs -chmod` 和 `hdfs dfs -chown` 命令调整文件或目录的权限和所有权[^3]。例如： - 修改文件权限： ```bash hdfs dfs -chmod 644 /user/data/file1.txt ``` - 修改文件所有者和所属组： ```bash hdfs dfs -chown someuser:somegrp /user/data/file1.txt ``` ### 查看文件内容的相关命令 除了复制文件外，有时还需要查看文件的内容。HDFS Shell 提供了多种命令来查看文件内容，如 `cat`、`tail` 和 `text`。其中，`text` 命令不仅可以查看文本文件，还可以查看压缩文件和 Avro 序列化的文件[^4]。例如： ```bash hdfs dfs -text /user/data/file1.txt ``` ### 示例代码 以下是一个完整的示例，展示如何使用 `hdfs dfs -cp` 命令进行文件复制，并检查其结果： ```bash # 创建测试文件 echo "This is a test file." > testfile.txt hdfs dfs -put testfile.txt /user/data/ # 复制文件到备份目录 hdfs dfs -mkdir -p /user/backup/ hdfs dfs -cp /user/data/testfile.txt /user/backup/ # 验证复制结果 hdfs dfs -ls /user/backup/ hdfs dfs -cat /user/backup/testfile.txt ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值