hadoop fs -cat 不能查看文件

最新推荐文章于 2023-02-06 11:29:15 发布
原创 最新推荐文章于 2023-02-06 11:29:15 发布 · 8.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在使用Hadoop fs -cat命令尝试查看/user/root/ds.txt文件时，遇到了'No such file or directory'的错误。通过ls -R命令确认文件存在，但仍然无法用cat命令读取。重新复制文件并命名为ds1.txt后，cat命令能正常显示文件内容。这个问题可能涉及到HDFS的缓存或者文件路径的解析问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hadoop fs -cat /user/root/ds.txt
不存在


[root@master hadoop-2.6.5]# hadoop fs -ls -R /user/root
-rw-r--r-- 2 root supergroup 9135 2017-07-28 01:55 /user/root/ds.tx
[root@master hadoop-2.6.5]# hadoop fs -cat /user/root/ds.txt
cat: `/user/root/ds.txt': No such file or directory

重新复制一遍后OK

[root@master hadoop-2.6.5]# hadoop fs -put /opt/exercise/ds.txt ds1.txt
[root@master hadoop-2.6.5]# hadoop fs -ls -R /user/root
-rw-r--r-- 2 root supergroup 9135 2017-07-28 01:55 /user/root/ds.tx
-rw-r--r-- 2 root supergroup 9135 2017-07-28 02:27 /user/root/ds1.txt
[root@master hadoop-2.6.5]# hadoop fs -ls -d /user/root
drwxr-xr-x - root supergroup 0 2017-07-28 02:27 /user/root
[root@master hadoop-2.6.5]# hadoop fs -cat /user/root/ds1.txt
17.759065824032646,0.6708203932499373
20.787886563063058,0.7071067811865472
17.944905786933322,0.5852349955359809
22.410906749998933,0.6500000000000014
26.314727674070117,0.5590169943749447


不知道什么原因！！！！

Hadoop--HDFS的Shell操作（常用命令）
weixin_44976835的博客
03-27 509
基本语法 hadoop fs 具体命令 或者 hdfs dfs 具体命令 这两种是完全相同的 命令大全 常用-help命令，查看命令帮助 hadoop fs -mkdir ：创建文件夹 在hadoop102:9870的hdfs页面查看创建成功 上传 hadoop fs -moveFromLocal：从本地移动（剪切）到HDFS hadoop fs -moveFromLocal 要上传hdfs的文件路径 要上传到hdfs的目标路径 在这个例子中：我们就将刚刚创建的shuguo.txt文件上
HDFS基本操作
qq_42245531的博客
10-07 758
hdfs dfs -ls . 表示列出HDFS某个目录下的所有内容，“.”表示HDFS中的当前用户目录，如果没有“.”为列出所有目录。 -h 使用方便人阅读的信息显示文件大小 -R 使用递归显示所有子目录的信息 hdfs dfs -mkdir input or /input 后者为在HDFS根目录下，前者为创建在当前的目录下？ ...
关于hadoop在本地开发环境运行不能读取文件夹下的文件解决方案
ni1992369的博客
08-14 1209
问题：Exception in thread "main" java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: (null) entry in command string: null ls -F F:\aaa\input\a.txt 解决方法...
hadoop集群进行计算得不到结果
weixin_47109902的博客
02-06 610
使用hadoop集群hadoop102 hadoop103 hadoop104在统计hadoop-3.1.3/wcinput/word.txt中出现名字的次数时，在hdfs网页上未显示wcoutput计算结果。
Hadoop 经典案例--------单词统计中遇到的问题
一指流沙的博客
05-14 1363
一、Hadoop运行jar包时一直卡在: INFO mapreduce.Job: Running job位置的问题 //进入到hadoop虚拟机，进入存放hadoop的文件，执行以下指令 cd hadoop-2.7.4 cd etc/hadoop/ [root@hadoop01 hadoop]# ls capacity-scheduler.xml hadoop-metrics2.properties httpfs-signature.secret log4j.properties
使用Hadoop实现单词统计
cchangcs
10-08 3391
使用Hadoop实现单词统计本篇博客介绍使用Hadoop实现单词统计（来源：慕课网学习），下面是具体步骤： 1.创建目录hadoop fs -mkdir input hadoop fs -mkdir word_count_class2.复制博客末尾的代码到Java文件，命名WordCount.java，并运行如下命令编译java文件javac -classpath /opt/hadoop-1.2
hadoop实现单词统计
Bernice32880的博客
04-29 2333
工具：IDEA 在一切开始之前，我们先要确定我们的hadoop环境是否正常，hdfs文件系统是否正常。 如何验证呢？首先，把集群启动，正常显示界面： 进入文件系统： 此时需要创建一个文件夹用于存放一会会用到的文件，我这里取名为input 在hdfs系统创建文件夹有两个方法，其中一个是直接敲命令：hadoop fs -mkdir /input 第二个是在界面上创建： 不管用哪种方式，保证有这么一个文件夹就行了。 然后，创建一个txt文件，随便写几个单词进去，单词之间用空格分开（路径自己选，只要找得到就
Hadoop fs -cat /out.txt能检验文件是否输出在指定位置吗
03-08
好的，用户问的是Hadoop fs -cat /out.txt能不能检验文件是否输出在指定位置。首先，我需要确认这个命令的作用。Hadoop的fs -cat命令主要是用来显示文件内容的，所以直接来说，执行这个命令时，如果文件存在，就会...
Hadoop fs -cat是什么意思
06-13
Hadoop fs -cat是一个Hadoop命令，用于查看Hadoop分布式文件系统（HDFS）中的文件内容。它可以将HDFS中指定路径下的文件内容打印到标准输出中，或者将其保存到本地文件系统中。例如，可以使用以下命令查看HDFS中路径...
hadoop fs -cat /output/* cat: `/output/_temporary': Is a directory
09-14
`hadoop fs -cat /output/*` 命令通常用于查看 Hadoop 分布式文件系统（HDFS）中的文件内容。这个命令会尝试列出指定路径下所有的文件，并将它们的内容输出到标准输出。`hadoop fs -cat` 命令是 `hadoop fs -text` ...
Hadoop HDFS常用Shell命令及实验步骤 一、环境准备 1. 确保Hadoop集群已启动（NameNode、DataNode） 2. 本地创建测试文件： Bash   echo "Hello Hadoop" > test.txt  二、文件上传 1. 命令格式 Bash   hadoop fs -copyFromLocal <本地路径> <HDFS路径> # 或使用 -put 2. 示例 将test.txt上传到HDFS根目录： Bash   hadoop fs -copyFromLocal ./test.txt /test.txt 3. 验证 Bash   hadoop fs -ls / # 查看根目录文件列表[^3]  三、文件下载 1. 命令格式 Bash   hadoop fs -copyToLocal <HDFS路径> <本地路径> # 或使用 -get 2. 示例 下载HDFS的/test.txt到本地： Bash   hadoop fs -copyToLocal /test.txt ./downloaded.txt 3. 验证 Bash   cat downloaded.txt # 输出应为"Hello Hadoop"[^1]  四、内容追加 1. 命令格式 Bash   hadoop fs -appendToFile <本地文件> <HDFS文件> 2. 示例 追加本地append.txt到HDFS的/test.txt： Bash   echo "New Content" > append.txt hadoop fs -appendToFile append.txt /test.txt 3. 验证 Bash   hadoop fs -cat /test.txt # 应包含追加内容  五、文件删除 1. 命令格式 Bash   hadoop fs -rm <HDFS路径> # 删除文件 hadoop fs - rm -r <HDFS目录路径> # 递归删除目录 2. 示例 删除HDFS的/test.txt： Bash   hadoop fs -rm /test.txt 3. 验证 Bash   hadoop fs -ls / # 文件应不存在  六、权限查看与修改 1. 查看权限 Bash   hadoop fs -ls -d / # 显示根目录权限[^3] 输出示例： drwxr-xr-x - user supergroup 0 2023-10-01 12:00 / 2. 修改权限 Bash   hadoop fs -chmod 755 /test.txt # 设置读写执行权限  七、其他操作 1. 复制文件 Bash   hadoop fs -cp /test.txt /backup/test.txt # 跨路径复制[^2] 2. 创建目录 Bash   hadoop fs -mkdir /bigdata # 创建新目录[^3] 5. 给定HDFS中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信息； 6. 提供一个HDFS内的文件的路径，对该文件进行创建和删除操作。如果文件所在目录不存在，则自动创建目录； 7. 提供一个HDFS的目录的路径，对该目录进行创建和删除操作。创建目录时，如果目录文件所在目录不存在则自动创建相应目录；删除目录时，由用户指定当该目录不为空时是否还删除该目录；3. 将HDFS中指定文件的内容输出到终端中；在上面的基础上重点完成一下下面的内容 8. 向HDFS中指定的文件追加内容，由用户指定内容追加到原有文件的开头或结尾； 9. 删除HDFS中指定的文件； 10. 在HDFS中，将文件从源路径移动到目的路径。
最新发布
03-20
hadoop fs -cat /test/data.txt # 查看内容 hadoop fs -mv /test/data.txt /backup/ # 移动文件 hadoop fs -rm -r /test # 删除目录[^4] ``` 3. **权限实验** ```bash hadoop fs -chmod 700 /secret # 限制...
hadoop fs -text和hadoop fs -cat的区别（转）
qq_15906905的博客
04-08 4264
转自：https://www.jianshu.com/p/4462613d3f57
hadoop的dfs实现单词计数找不到或无法加载主类
hx1156477702的博客
09-26 1147
dfs单词计数时 错误：找不到或无法加载主类
hadoop 关于使用idea使用hdfs命令查询不到文件信息的“bug“
佰梦的博客
10-16 884
RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true); 查询不到文件信息的原因是因为这个命令只能查询文件不能查询目录，因为你的hdfs上面没有文件只有目录所以运行结果就一直是空的，气死我了这弱智bug查了我半个多小时，真的是被自己蠢哭了。 问题是这种弱智bug，csdn也搜不到，留下这条信息给跟我一样的初学者，希望不要被这种弱智bug耽误时间。 ...
hdfs dfs -cat 出现No such file or directory
微电子学与固体电子学-俞驰
04-26 5297
$ hdfs dfs -cat hdfs://Desktop:9000/user/ds/hello.txt cat: `hdfs://Desktop:9000/user/ds/hello.txt': No such file or directory 解决方案: 不要使用这种命令 hdfs dfs -mkdir -p 不存在这种命令！ ...
HDFS常用命令总结
qq_38777880的博客
04-20 2254
在HDFS中所有的Hadoop命令均由bin/hadoop脚本引出，不指定参数运行Hadoop脚本会打印出所有命令的描述。这篇博文总结一下常用的HDFS命令的操作。 一、version命令 version命令可以打印Hadoop版本的详细信息。 $ hadoop version 二、dfsadmin命令 dfsadmin命令可以查看集群存储空间使用情况和各节点存储空间使用情况。 # hadoop dfsadmin -report 三、jar命令 jar命令是运行jar包文件命令。用户
HDFS如何查看文本内容
CZXY18ji的博客
11-25 3889
1.查看指定行数的文本 hdfs dfs -cat /aaaaa/空白文本.txt | shuf -n 5 2.查看指定头数的文本 hdfs dfs -cat /aaaaa/空白文本.txt | head -100 3.查看指定尾数的文本 hdfs dfs -cat /aaaaa/空白文本.txt | tail-100 4.查看文本行数 hdfs dfs -cat /path/txt | wc -...
HDFS命令行操作
m0_47792921的博客
09-01 4965
HDFS的命令行接口类似传统的Shell命令，可以通过命令行接口与HDFS系统进行交互，从而对系统中的文件进行读取、移动、创建操作。 命令行接口有两种格式如下： hadoop fs -命令 文件路径 hdfs dfs -命令 文件路径 执行hadoop fs 或者 hdfs dfs可以列举出所有的HDFS命令： hadoop fs 1、ls 使用 ls 命令可以查看系统中的目录和文件，这里我们以HDFS的根目录为例。命令如下： hadoop fs -ls 需...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值