HDFS学习笔记:HDFS JavaAPI编程

最新推荐文章于 2024-02-13 13:33:48 发布
原创 最新推荐文章于 2024-02-13 13:33:48 发布 · 2k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#HDFS

本文档详细记录了如何在Hadoop环境下，通过Java API进行HDFS操作。首先介绍了搭建环境的步骤，包括环境配置、Eclipse工程创建及jar包引入。接着，文章在com.hdfs包下实现了一系列基本的HDFS操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.搭建环境
          上传、解压eclipse、设置工作目录、新建java工程
2.加入jar包
          新建名为lib的folder，将这些目录下的jar包都复制到lib里，然后build path
              /opt/software/hadoop-2.6.0-cdh5.14.0/share/hadoop/common
              /opt/software/hadoop-2.6.0-cdh5.14.0/share/hadoop/common/lib
              /opt/software/hadoop-2.6.0-cdh5.14.0/share/hadoop/hdfs
              /opt/software/hadoop-2.6.0-cdh5.14.0/share/hadoop/hdfs/lib
3.新建Package，名为com.hdfs，实现了一些基本操作
 

package com.hdfs;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.io.PrintStream;

import org.apache.commons.compress.utils.IOUtils;
import org.
最低0.47元/天 解锁文章

200万优质内容无限畅学
【大数据入门核心技术-Hadoop】（十三）Hadoop JavaAPI 操作
02-26 333
作者测试hadoop环境为3.2.1，所以本依赖也是用3.2.1版本。 3.2.1 6.14.3 org.apache.hadoop
实验二、HDFS shell操作及HDFS Java API编程
04-10
适合刚接触hadoop的学生或小白，内容包括HDFS shell操作及HDFS Java API编程 有图片有代码
通过hadoop api写HDFS(JAVA版)
普天&同庆
04-01 4361
代码如下: package com.hadoop.cluster; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Pat...
彷徨 | HDFS客户端API编程基本java操作 | 一
彷徨的博客
07-28 370
1 : 上传本地文件到HDFS @Test public void testUpload() throws Exception { Configuration conf = new Configuration(); //默认值，可以不设置 conf.set("dfs.blocksize", "128m"); // 1.先获取一个访问HDFS的客户端对象 //...
hdfs的javaAPI开发（基础）
fengge18306的博客
03-16 194
import org.apache.commons.io.IOUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.testng.annotations.Test; import java.io.*; import java.net.URI; import j...
hdfs-javaAPI
郝大侠的博客
03-20 282
1.新建普通java项目 2.导入hadoop包 导包步骤 3.导入两个核心配置文件 注意hdfs-site.xml文件中配置权限信息，否则一会容易发生权限不够，拒绝写入。 4.编写从hdfs读取数据和上传数据 public static void main(String[] args) throws Exception { Configuration conf = new Confi...
Hadoop | HDFS 学习笔记（二）HDFS Java API 环境搭建 | Java操作HDFS文件系统 | 多案例
希望每天都能进步一点点
01-17 3705
文章目录参考资料运行环境一、准备 HDFS Java API 环境1.1 在windows系统中准备Hadoop环境1.2 使本机连接集群节点1.2.1 域名映射1.2.2 路由转发1.3 使用 IDEA 创建 Maven 项目二、HDFS Java API 操作案例2.1 创建文件夹2.2 上传文件2.3 下载文件2.4 删除文件2.5 文件的更名和移动2.6 获取HDFS文件信息2.7 文件与文件夹的判断2.8 HDFS - API 配置参数优先级问题2.8.1 通过配置文件2.8.2 通过Config
hdfs 拷贝文件 java_使用java API操作hdfs--拷贝部分文件到hdfs
weixin_35275781的博客
02-24 1559
要求如下：自行在本地文件系统生成一个大约一百多字节的文本文件，写一段程序(可以利用Java API或C API)，读入这个文件，并将其第101-120字节的内容写入HDFS成为一个新文件。import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.io.OutputStream...
Hadoop学习笔记（一）：HDFS分布式文件系统(从环境搭建到Java API)-附件资源
03-02
Hadoop学习笔记（一）：HDFS分布式文件系统(从环境搭建到Java API)-附件资源
HDFS在JAVA API的操作
11-02
HDFS在JAVA API中的操作，以及在ecplise中的配置详情。
HDFS JavaAPI简单实例
qq_43354594的博客
03-18 211
HDFS学习HDFS基本实现获取Configration并设置获取FileSystem获取读写流完整JAVA实现关于报错学习计划有想学习的小伙伴们一起呀QWQ HDFS基本实现 获取Configration并设置 Configuration configuration = new Configuration(); configuration.set("fs.defaultFS","h
hadoop系列二：HDFS文件系统的命令及JAVA客户端API
weixin_30535167的博客
02-12 107
转载请在页首明显处注明作者与出处 http://www.cnblogs.com/zhuxiaojie/p/6391518.html 一:说明 此为大数据系列的一些博文，有空的话会陆续更新，包含大数据的一些内容，如hadoop,spark,storm,机器学习等。 当前使用的hadoop版本为2.6.4 上一篇:hadoop系列一：hadoop集群安装 二:HDF...
利用hdfs的java api进行文件操作注意事项
prometheus的博客
09-01 1295
在编写测试过程中，有以下注意事项： 1、在windows下运行，需要下载hadoop并且在bin目录添加winutils.exe文件。 下载链接：https://github.com/srccodes/hadoop-common-2.2.0-bin/tree/master/bin 2、报错No FileSystem for scheme: hdfs 这个错有两种解决方案：
HDFS jav API编程（代码暂存）
martinwz的博客
04-21 405
package test; import java.io.ByteArrayOutputStream; import java.io.IOException; import java.io.InputStream; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Conf...
传智---Haoop--(6)--hdfs文件操作
我是小兵
11-26 972
package com.hdfs; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache
HDFS的Java API操作
bx1215的博客
04-03 876
winutils： 适用于Hadoop版本的Windows二进制文件，这些是直接从用于创建官方ASF版本的相同git提交构建的;它们被检出并构建在Windows VM上，该VM专用于在Windows上测试Hadoop / YARN应用程序。件 >（3）然后是服务器的自定义配置（xxx-site.xml）>（4）服务器的默认配置（xxx-default.xml）参数优先级排序：（1）客户端代码中设置的值 >（2）ClassPath 下的用户自定义配置文。(点击蓝色字体跳转)
大数据学习：使用Java API操作HDFS
X_Serendipity的博客
11-30 2586
创建、读取、写入
（超详细）HDFS常用命令及HDFS API基础编程
热门推荐
JunLeon的博客
10-28 1万+
HDFS常用命令及基础编程 JunLeon——go big or go home 前言： ​ Hadoop 分布式文件系统 (HDFS) 是一种分布式文件系统，旨在运行在商品硬件上。它与现有的分布式文件系统有很多相似之处。但是与其他分布式文件系统的区别是显着的。HDFS 具有高度容错性，旨在部署在低成本硬件上。HDFS 提供对应用程序数据的高吞吐量访问，适用具有大型数据集的应用程序。HDFS 放宽了一些 POSIX 要求，以启用对文件系统数据的流式访问。HDFS 最初是作为 Apac...
大数据技术原理与应用实验指南——HDFS JAVA API编程实践
最新发布
qq_57168149的博客
02-13 1918
把配置文件放到当前Java工程目录下：需要把集群上的core-site.xml和hdfs-site.xml（这两个文件存在于/usr/local/hadoop/etc/hadoop目录下）放到当前工程项目下，即eclipse工作目录的bin文件夹下面。该命令中表示在HDFS中创建一个“/user/hadoop”目录，“–mkdir”是创建目录的操作，“-p”表示如果是多级目录，则父目录和子目录一起创建，这里“/user/hadoop”就是一个多级目录，因此必须使用参数“-p”，否则会出错。
Hadoop学习笔记：掌握Java实现Hadoop编程
1. HDFS API: Hadoop的分布式文件系统提供了Java API，允许开发者以编程方式操作存储在HDFS上的数据。常见的操作包括创建目录、列出目录内容、读写文件等。 2. MapReduce API: MapReduce编程模型在Java中可以使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值