大数据讲课笔记4.4 使用Java API操作HDFS

已于 2022-12-07 09:58:47 修改
阅读量3.2k 收藏 17
点赞数 4
分类专栏： 探索大数据世界 文章标签： HDFS Java API
于 2022-10-06 16:22:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/127183792
版权
这篇博客详细介绍了如何使用Java API进行HDFS操作，从创建Maven项目到添加依赖，再到实际的文件创建、读写、重命名、显示文件列表等操作，全面解析HDFS的Java编程接口。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

零、学习目标

  1. 了解HDFS Java API
  2. 掌握使用Java API操作HDFS

一、导入新课

  • 上一节对HDFS的Shell操作进行了详细的讲解，而HDFS Shell本质上就是对Java API的应用。本节课将针对HDFS Java API操作进行详细讲解。

二、新课讲解

  • 由于Hadoop是使用Java语言编写的，因此可以使用Java API操作Hadoop文件系统。HDFS Shell本质上就是对Java API的应用，通过编程的形式操作HDFS，其核心是使用HDFS提供的Java API构造一个访问客户端对象，然后通过客户端对象对HDFS上的文件进行操作（增、删、改、查）。

（一）了解HDFS Java API

了解本专栏 订阅专栏 解锁全文 超级会员免费看
头歌实验 HDFS的基本操作和Java API 操作
weixin_61657766的博客
10-16 1万+
头歌 实验HDFS 的基本操作和 Java API 操作
4.4 使用Java API操作HDFS
m0_73693938的博客
12-02 1081
在/ied01目录里确实创建了一个0字节的hadoop.txt文件，有点类似于Hadoop Shell里执行hdfs dfs -touchz /ied01/hadoop.txt命令的效果，但是有一点不同，hdfs dfs -touchz命令重复执行，不会失败，只是不断改变该文件的时间戳。// 删除路径对象指向的目录或文件。System.out.println(type + "[" + path + "]删除成功！System.out.println(type + "[" + path + "]删除失败！
Hadoop•HDFS的Java API操作
最新发布
浩浩kids的博客
03-19 1154
🔆🔆🔆集群如果不用了，就要停下了。不能用Linux版本的，里面的协议不一样。下载Windows版本的JDK和Hadoop后解压，把它们的bin的路径分别添加至物理机环境变量中。JDK的添加在用户变量就行了，Hadoop由于要上传物理计算机里的文件因此要添加到系统变量。在pom.xml文件添加以下。在物理计算机创建要上传的文件。可以去Web UI查看一下，忘了怎么进Web UI可以看Hadoop•用Web UI查看Hadoop状态&词频统计。
使用java API 操作
m0_63560941的博客
11-28 1406
了解HDFS Java API掌握使用Java API操作HDFS
大数据学习：使用Java API操作HDFS
X_Serendipity的博客
11-30 2562
创建、读取、写入
使用Java API操作HDFS
weixin_64270471的博客
11-23 637
Hadoop整合了众多文件系统，HDFS只是这个文件系统的一个实例。Maven Repository（Maven仓库）-FileSystem对象的一些方法可以对文件进行操作。创建Maven项目 - HDFSDemo。在Hadoop WebUI界面查看。利用HDFS集群WebUI查看。已经存在，此时会提示用户创建失败。注意：导包千万不要导错了。单击【Finish】按钮。目录，在该目录里创建。
大数据-使用Java API操作HDFS
m0_62492032的博客
12-07 2224
创建Maven项目 - HDFSDemo在pom.xml文件里添加hadoop和junit依赖 3、创建日志属性文件 在resources目录里创建log4j.properties文件 4、启动集群HDFS服务 在主节点上执行命令：start-dfs.sh在Hadoop WebUI界面查看在HDFS Shell里利用hdfs dfs -touchz命令可以创建时间戳文件创建net.hf.hdfs包，在包里创建CreateFileOnHDFS类 编写create1()方法 运行程序，查看结果利用Hadoop
大数据技术基础实验报告-调用Java API实现HDFS操作.doc
08-21
【大数据技术基础实验报告-调用Java API实现HDFS操作】 本实验主要涵盖了大数据技术的基础，特别是如何在Linux环境下利用Java API对Hadoop分布式文件系统（HDFS）进行操作。实验涉及的主要步骤包括Eclipse的安装、...
大数据1.9使用Java API操作HDFS
weixin_64895348的博客
12-07 1344
使用Java API操作HDFS
java API 操作HDFS
05-08
javaAPI操作HDFS，测试可用 window环境需要下载hadoop客户端
使用JavaAPI操作HDFS
yeshenye19992的专栏
01-30 455
使用JavaAPI操作HDFS：
最全源码提供，直接Copy拿走，如何使用Java API操作HDFS
专注编程和人工智能！
09-14 1808
前言 由于Hadoop是使用Java语言编写的，因此可以使用Java API操作Hadoop文件系统。 使用HDFS提供的Java API构造一个访问客户端对象，然后通过客户端对象对HDFS上的文件进行操作（增、删、改、查）。 准备工作 Hadoop集群搭建 请参考文章 https://www.bilibili.com/read/cv7591643 hadoop-win-2.7.7 window简化阉割版（up主提供，下载链接请见文末） 步骤 1.在Window系统下，配置hadoop环境，使用Jav
使用java API 操作HDFS
Bianch_ZhiLi的博客
11-25 2716
使用java API 操作HDFS
Java API操作HDFS文件
29DCH的博客
10-01 391
采用idea+Maven,添加相关的HDFS依赖 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org
JavaAPI操作HDFS
sxwwudi的博客
10-10 928
重启电脑，在终端查看hadoop版本在hadoop目录中添加windows系统的依赖文件​ 找到与hadoop版本相近的winutils版本的bin，然后把下载好的中的文件复制粘贴到windows的hadoop/bin目录下和，其中前两者是用于运行HDFS和MapReduce程序时防止NativeIO异常；hadoop.dll文件用于运行HDFS和MapReduce程序时防止空指针异常。
java API操作HDFS
风情
08-31 718
pom.xml配置仓库 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> </repo...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值