大数据之-Hadoop之HDFS的API操作_判断是文件还是文件夹---大数据之hadoop工作笔记0062

最新推荐文章于 2023-03-15 15:21:57 发布
最新推荐文章于 2023-03-15 15:21:57 发布
阅读量823 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 集群&算法&量子计算
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/115443609
本文介绍了如何使用Hadoop的HDFS Java API来判断指定路径是文件还是文件夹。通过示例代码展示了如何遍历根目录下的所有条目并进行判断，最终成功标识出每个条目是文件还是不存在的目录。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

然后我们再来看看,利用hadoop的hdfs的java的api来判断,当前的给出的路径是个

文件夹还是个文件.

我们写一下代码,我们判断根目录下的所有文件,循环判断是文件还是文件并打印

可以看到我们执行前去看看,现在hdfs上根目录,全部是文件

去执行

了解本专栏 订阅专栏 解锁全文 超级会员免费看
尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】
upward
03-23 3641
尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】
大数据之-Hadoop3.x_Hadoop_HDFS_掉线时限参数设置---大数据之hadoop3.x工作笔记0079
添柴程序猿的专栏
07-01 409
这里定义超时时间是TimeOut,那么这个TimeOut是怎么计算的呢? 是2 *dfs.namenode.heartbeat.recheck-interval这个 dfs.namenode.heartbeat.recheck-interval 是五分钟 然后10 *dfs.heartbeat.interval这个 dfs.heartbeat.interval 的3秒,所以这个掉线时限,就是 10分钟,加上30秒,如果和这个datanode还是通信不上的话,namen...
Java大数据-Hadoop-HDFS客户端文件和文件夹判断
godkzz的博客
12-20 952
@Test public void testListStatus() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件配置信息 Configuration configuration = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration, "atguigu.
HDFS操作实验（hdfs文件上传、使用JavaAPI判断文件存在，文件合并）
chen30924190的博客
03-25 1万+
    此博客为博主学习总结，内容为博主完成本周大数据课程的实验内容。实验内容分为两部分。    1. 在分布式文件系统中创建文件并用shell指令查看；    2. 利用Java API编程实现判断文件是否存在和合并两个文件的内容成一个文件。    感谢厦门大学数据库实验室的实验教程，对博主的学习有很大的帮助。    现在，就让我们一起完成实验内容吧！创建文件     我们需要先启动下Hadoo...
HDFS API 操作之文件详情查看、文件和文件夹判断
小杨的技术博客
04-02 2万+
文件详情查看 @Test public void testListFiles() throws Exception { // 1 获取文件系统 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), conf, "r...
Hadoop_HDFS笔记2（HDFS的API操作，HDFS的读写流程（面试重点））
weixin_60440795的博客
08-12 713
7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；参数优先级排序：（1）客户端代码中设置的值 >（2）ClassPath下的用户自定义配置文件 >（3）然后是服务器的自定义配置（xxx-site.xml） >（4）服务器的默认配置（xxx-default.xml）客户端去操作HDFS时，是有一个用户身份的。（2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。...
大数据之-Hadoop之HDFS的API操作_文件下载案例---大数据之hadoop工作笔记0058
添柴程序猿的专栏
04-04 470
我们再来看一下文件下载。 这个代码就可以下载文件了 使用的是copyToLocalFile的api 执行以后可以看到文件下载下来了 但是多了个.banhua.txt.crc文件. 可以看到这个.banhua.txt.crc文件, 其实是一个认证文件,认证文件用的. 循环冗余码校验英文名称为Cyclical Redundancy Check，简称CRC。 　　它是利用除法及余数的原理来作错误侦测（Error Detecting）的。实际应用时， 发送装置计算出CRC值并随数...
大数据之-Hadoop之HDFS的API操作_查看文件的详情---大数据之hadoop工作笔记0061
添柴程序猿的专栏
04-05 551
recursive 递归的 然后我们再去写代码查看文件详情。 可以看到我们通过上面的代码就可以获取文件的名称权限长度。 fs.listFiles(1,,2) 第二个参数true是递归的意思。就是获取所有的文件。包括子文件夹中的文件。 然后我们打印出所有的文件的名称,权限,长度 然后我们继续获取每个文件的,块信息,打印出来. 然后我们去执行 可以看到右边,第一行可以看到 banhua.txt 长度是15,然后块在hadoop103上 我们可以去看看web端去看看.
大数据之-Hadoop之HDFS的API操作_修改文件的名称---大数据之hadoop工作笔记0060
添柴程序猿的专栏
04-04 435
然后我们再去看看文件的名称的修改. 可以看到用的rename的hadoop的hdfs的java的api 执行前可以看到这个文件名称是banzhagn.txt 执行以后可以看到就修改成了yanjing.txt 技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152开通了个人技术微信公众号:credream,优快云账号:credreamer 有需要的朋友可以添加相互学习 ...
HDFS文件和文件夹判断
ITBOY_ITBOX博客
06-25 945
/** * HDFS文件和文件夹判断 * @throws IOException * @throws InterruptedException * @throws URISyntaxException */ @Test public void testListStatus() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件配置信.
hadoop客户端，文件重命名 、判断是文件还是文件夹 ---------》示例代码
热门推荐
诗水人间
10-24 11万+
重命名： import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.junit.Test; import java.io.IOException; import java.net.URI; ...
hadoop java文件_使用java api操作Hadoop文件
weixin_32389225的博客
02-12 442
1. 概述2. 文件操作2.1上传本地文件到hadoop fs2.2 在hadoop fs中新建文件，并写入2.3 删除hadoop fs上的文件2.4读取文件3. 目录操作3.1 在hadoop fs上创建目录3.2 删除目录3.3 读取某个目录下的所有文件4. 参考资料接代码下载<1>. 概述hadoop中关于文件操作类基本上全部是在org.apache.hadoop.fs...
Hadoop_API获取文件详细信息&判断是文件还是文件夹
weixin_43955488的博客
12-22 1123
1.获取文件详细信息 /** * 获取文件详细信息 */ @Test public void fileDetail() throws IOException { //参数解读：参数1：路径；参数2：是否递归 RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true); //遍历文件 wh
【Hadoop集群搭建】Hadoop运行模式——本地模式（附Hadoop目录结构了解）
weixin_44891285的博客
02-10 1665
好接下来！我们来学习本地模式。 首先来了解一下H的目录结构。 马赛克涂掉的是我之后产生的文件,剩下的是一个原本的干干净净的目录。 介绍几个重要的常用的如下： Hadoop的运行模式分为 本地模式 / 伪分布式 / 完全分布式 三种，下面我们来讲第一种——最简单的也是最基础的 本地模式（Local/Standalone Operation） 顾名思义，本地模式是一种只运行在本机上的模式，“在默...
HDFS的API操作
&volume的博客
03-15 2483
使用注解@Test进行测试，调用的还是Linux中的mkdir 让客户端连接对象进行调用（**注意 这里 客户端连接对象要在类的上方使用private进行定义，方便在下方方法中的调用）返回值：返回的形式是迭代器（迭代器是一种设计模式，官方话不多数，说一下自己的理解可能不贴切---个人认为迭代器就像把数据封装成一个数据库一样，包含各种属性，每一条信息就是一个元组）文件移动分为很多，根据参数的不同，做出不同的操作，都是调用rename方法。文件和文件夹的判断也分为两种，一种是可迭代的，一种是不可迭代的。
dolphinscheduler调度datax脚本执行错误原因（我见）
Linmeng001的博客
10-13 1934
dolphin调度datax，io问题
datax开发hdfswriter写入目录不存在时自动创建
Mr_ShangHaohao的博客
12-16 3384
在使用datax导数据到hive分区表中，配置写入目录为hive表分区为dt=datax,如果不提前创建该分区，会报目录不存在错误，于是希望二次开发，在写入时检测目录不存在自动创建此分区目录
Hadoop：HDFS总结
qq_45749457的博客
02-20 3568
Hadoop：HDFS总结 HDFS架构 NameNode(nn): 管理文件的元数据，如文件名、文件目录结构、文件属性等信息 【NN运行时，元数据是存储在内存中，从而保证响应时间】 元数据只保留在内存中是非常不可靠的，所以也需要持久化到磁盘。NN内部有两类文件用于持久化元数据： fsimage文件，以fsimage_为前缀，是序列化存储的元数据的整体快照； edits文件(又称edit log)，以edits_为前缀，是顺序存储的元数据的增量修改(即客户端写入操作)日志。 DataNode(dn)
2022-10-09 17:50:17.215 [job-0] ERROR HdfsWriter$Job - 判断文件路径[message:filePath =/data/ods/ods_bms_us
默主归沙的博客
10-09 1388
其实就是hdfs路径问题。在企业中经常会搞高可用模式，如果datax的json设置的是nn01为路径，那如果nn02变成主节点，那就会路径失败。nn01和nn02都是高可用主机的别名（我是在生产环境中找的别名）namenode的active和standby模式的切换。从nn01的standby切换为active。从nn02的active切换为standby。在datax导入到hive中，会有这种报错。查看高可用的是否为主节点状态。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值