利用HDFS java API增删改查操作

最新推荐文章于 2020-03-26 12:30:17 发布
最新推荐文章于 2020-03-26 12:30:17 发布
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop 文章标签： hdfs hadoop java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013361361/article/details/17883037
本文介绍了如何利用HDFS Java API进行文件系统的增删改查操作，强调了在操作过程中需要注意的安全模式、版本匹配及权限问题，并提供了工程结构、代码示例和执行命令。同时指出，某些Hadoop版本可能不支持WebHDFS。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

利用HDFS java API增删改查操作

在做这个实验的时候需要特别注意下面三个问题：

1、hdfs安全模式需要关闭命令：./hadoop dfsadmin -safemode leave

2、工程中依赖的版本必须和集群的一致，否则也会报 version不一致错误

3、hadoop集群用户权限的问题，以及各个目录的作用

目前为什么会有这三个问题的原因待查！！！

未验证目前使用hadoop的版本（release-0.20.0）是否支持webhdfs，反正我是怎么都连接不上啊！！！

从这上面看，0.20.0 可能是不支持的

https://jira.springsource.org/browse/IMPALA-15?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel

Serengeti Distro:
Apache Hadoop:1.0.1
GreenPlum HD:1.1(Apache Hadoop 1.0.0)
CloudEra: CDH3(Apache Hadoop 0.20.2, WebHDFS is not supported in this version)
Hortonworks: 1.0.7 (Apache Hadoop 1.0.2)

步骤如下：

工程结构,如图：

工程结构

工程结构

上代码 O(∩_∩)O哈哈~

pom.xml配置如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
4.0.0
com.yun.hdfs
hdfs
0.0.1-SNAPSHOT
UTF-8
maven-assembly-plugin
false
jar-with-dependencies
com.yun.hdfs.WangPan
make-assembly
package
assembly
org.apache.hadoop
hadoop-core
0.20.2
jar
compile

WangPan.java 主方法用于调用：

1
2
3
4
最低0.47元/天 解锁文章

200万优质内容无限畅学
使用JavaAPI进行HDFS文件系统的增删改查
yumi6666的博客
09-07 1696
0、事前准备。 0.1    完成HADOOP的集群安装，完成HDFS的配置和初始化。 （具体请参考https://blog.youkuaiyun.com/yumi6666/article/details/81735638） 0.2    配置好Linux或Win环境下的Java开发环境。 本文环境为WIN10 + Java1.8 + Eclipse。 （具体参考https://blog.csdn....
java实现HDFS增删改查
Super涌
04-12 851
HDFS增删改查
用java api（用流的方式）对HDFS进行增删改查
qq_40068214的博客
04-11 280
import java.io.FileNotFoundException; import java.io.IOException; import java.net.URI; import java.util.Iterator; import java.util.Map.Entry; import org.apache.hadoop.conf.Configuration; import or...
利用HDFS java API增删改查操作(转载)
Stereo
01-26 1860
利用HDFS java API增删改查操作 在做这个实验的时候需要特别注意下面三个问题： 1、hdfs安全模式需要关闭 命令：./hadoop dfsadmin -safemode leave 2、工程中依赖的版本必须和集群的一致，否则也会报 version不一致错误 3、hadoop集群用户权限的问题，以及各个目录的作用 目前为什么会有这三个问题的原因待查！！！
Hadoop基础-HDFS的API实现增删改查
weixin_34088583的博客
05-26 293
　　　　　　　　　　　　　　　　　　　Hadoop基础-HDFS的API实现增删改查 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。     　　本篇博客开发IDE使用的是Idea，如果没有安装Idea软件的可以去下载安装，如何安装IDE可以参考我的笔记：https://www.cnblogs.com/y...
HDFS 的 Java API 增删改查
qq_43437122的博客
03-26 473
HDFS 设计的主要目的是对海量数据进行存储，也就是说在其上能够存储很大量的文件。 HDFS 将这些文件分割之后，存储在不同的 DataNode 上，HDFS 提供了通过Java API 对 HDFS 里面的文件进行操作的功能，数据块在 DataNode 上的存放位置，对于开发者来说是透明的。 使用 Java API 可以完成对 HDFS 的各种操作，如新建文件、删除文件、读取文件内容等。下面将介...
编写Java代码对HDFS进行增删改查操作代码实例
08-26
Java代码对HDFS进行增删改查操作 本资源主要介绍了Java代码对HDFS（Hadoop Distributed File System）进行增删改查操作的实例代码，涵盖了创建文件、删除文件、复制文件到HDFS、创建目录、删除目录、列出目录和下载...
Hadoop HDFS Java API 实战：增删改查操作
以下是对HDFS Java API增删改查操作的详细解释： 1. **创建文件**： 使用`FileSystem`类的`create()`方法可以创建文件。创建时需要指定文件路径，还可以设置缓冲区大小、是否追加模式、权限等参数。 2. **读取...
利用Hbase相关的API，包括对HBase的增删改查等操作
最新发布
11-15
在本文中，我们将深入探讨如何使用Java API进行HBase的操作，包括增、删、改、查等基本功能。HBase是一个分布式、版本化的NoSQL数据库，它构建在Hadoop文件系统（HDFS）之上，提供了高可靠性、高性能、可伸缩的数据...
编写Java代码对HDFS进行增删改查操作
qq_41395106的博客
04-04 1168
import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.net.URI; import org.apache.commons.compress.utils.IOUtils; import org.apache.hadoop.conf.Configuration; i...
详细简单的hdfs java的api接口实现
03-18
很详细很简单的入门级操作HDFS文件上传，下载，查看，集群环境等接口API，可以按照代码写和API文档写自己需要的操作HDFS分布式文件系统的功能。
java大数据案例_1云计算、大数据、hadoop
01-23
1环境常规设置 问题 依次完成以下5个小题的任务 1） 设置IP为192.168.1.100，掩码为255.255.255.0，网关为192.168.1.1，并设置DNS为8.8.8.8主机名为master 2） 关闭防火墙 3） 配置ip为192.168.1.100的主机名为master，IP为192.168.1.101—103分别为slave1—3 4） 在用户目录建立文件夹test/bin，在bin目录下建立一个shell脚本hello.sh，编写shell脚本打印“Hello World！”，然后配置该脚本的环境变量HELLO_HOME为/home/xxx/test,PATH环境变量尾部添加/home/xxx/test/bin,回到用户目录使用hello.sh运行查看结果 5） 配置文件打开最大数为65535
JavaAPI实现hdfs文件增删改查
gltncx11的博客
11-21 803
package com.aimuti.hadoop.hdfs; import java.io.FileNotFoundException; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration;...
HDFS CRUD 操作
Mrknowledge
05-20 1018
1 查找 列出某个目录下的文件名称，hdfs命令如下所示： hdfs dfs –ls/usr/app java代码片段： [plain] view plaincopyprint? public void list(String srcPath) {             Configuration conf = new Configuration();       
Java API实现Hadoop文件系统增删改查
weixin_30423977的博客
03-06 240
Java API实现Hadoop文件系统增删改查 Hadoop文件系统可以通过shell命令hadoop fs -xx进行操作，同时也提供了Java编程接口 maven配置 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi...
java实现对HDFS增删改查（CRUD）等操作
用心做事
03-12 3894
实现对HDFS增删改查CRUD等操作 1 查找 列出某个目录下的文件名称，hdfs命令如下所示： hdfs dfs –ls/usr/app java代码片段： public void list(String srcPath) { Configuration conf = new Configuration();
Hadoop实操2--java API操作HDFS文件+详细的源码单元测试（IDEA）
叶小刀
08-24 2457
主要操作HDFS文件的查看，添加，删除，上传，下载。完整源码见后面 环境搭建见：https://blog.youkuaiyun.com/qq_25948717/article/details/82015131 Maven就是方便包的管理版本匹配 搭建好如图： 配置： 可以看到右下角正在下载依赖，第一耗时很长 =========================================...
java接口操作Hadoop文件（增删改查）
不言尘世
12-06 600
1 创建文件 private static String uri = "hdfs://192.168.174.130:8020/"; // hdfs 地址 private static String local = "C:/Users/Administrator/Desktop/333.txt"; // 本地路径 private static String local1 = "C:/Users...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值