2-5HDFS的java接口（Hadoop系列day02）

Java操作HDFS实战
最新推荐文章于 2023-06-22 18:18:00 发布
原创 最新推荐文章于 2023-06-22 18:18:00 发布 · 279 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs

本文介绍如何使用Java进行HDFS的基本操作，包括项目的搭建、jar包的导入、常见操作如文件上传下载、权限处理及文件夹创建等。通过具体实例帮助读者掌握Java与HDFS交互的技术要点。

java接口操作hdfs

新建项目

java project
保证jdk版本和以后Linux中jdk版本一直（大版本一致即可）

导入jar包

new folder lib
将jar包放在这个lib文件夹下
这里写图片描述

这里写图片描述

这里写图片描述

build path

开始写程序

新建HDFSDemo类

这里写图片描述

这里写图片描述

FileSystem 类 —org.apache.hadoop.fs (是一个抽象类，不能new)

下载文件

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

下载的简洁写法

这里写图片描述

上传文件

这里写图片描述

这里写图片描述

权限问题
这里写图片描述
解决办法：伪装成root用户
这里写图片描述

这里写图片描述

删除hdfs文件

这里写图片描述

假如文件夹不为空，不使用递归删除会报错

创建文件夹

这里写图片描述

HDFS Java API 基本操作实验
howard2005的专栏
12-08 856
利用Hadoop Java API操作HDFS文件系统
Hadoop3.0: 单机（伪集群）配置
沛哥儿的专栏
01-16 2095
目的 本文主要讲解的是在单节点下的Hadoop的环境安装和配置，以帮助您可以快速的使用Hadoop的MapReduce和HDFS 前提条件 环境支持 GNU/Linux现已支持开发和生产环境. Hadoop可以在 GNU/Linux集群上支持2000节点。 Windows现也支持但是没有Linux那么先进.关于如何在Windows上配置Hadoop ,请查看链接 wiki page 
hadoop版本和java版本不一致的问题
chenmingzhong99的博客
08-28 2399
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable   hadoop是32位的，而java是32位的。hadoop是64位编译的版本，导致上面的问题出现。...
hadoop java访问_Hadoop日记Day9---HDFS的java访问接口
weixin_35662670的博客
02-15 340
一、搭建Hadoop 开发环境我们在工作中写完的各种代码是在服务器中运行的，HDFS 的操作代码也不例外。在开发阶段，我们使用windows 下的eclipse 作为开发环境，访问运行在虚拟机中的HDFS。也就是通过在本地的eclipse 中的java 代码访问远程linux 中的hdfs。要使用宿主机中的java 代码访问客户机中的hdfs，需要保证以下几点：(1)确保宿主机与客户机的网络是互通...
hadoop Java 基础_Hadoop基础---HDFS的Java客户端编写
weixin_33328836的博客
02-12 332
补充：Eclipse自动补全快捷键在Windows下自动补全快捷键是Alt+/在Linux下自动补全快捷键是ctrl+空格一：导入jar包(一)定义用户依赖库(二)导入 hdfs基础jar包(三)导入hdfs基础jar包所依赖的库(四)导入公共jar包(五)导入公共jar包所需lib库(六)：创建类二：实现下载文件(一)要访问hdfs，需要获取FileSystem类(必须是org.apache.h...
Hadoop-day05(java操作hadoop)
weixin_48370579的博客
05-26 247
Java操作Hadoop 步骤一：创建父类maven项目 在父类项目中的 pom 文件中配置如下，同一版本号，然后子类供给子类使用 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www....
Hadoop--Hdfs
Alano1994的博客
03-17 462
Big Data 大数据 1. 数据采集（多个数据源） 2. 数据存储（分布式存储） 3. 数据分析（并行计算） Hadoop **apache软件基金会的开源项目 提供了大数据集的存储和大数据集的并行计算模型** Apache Hadoop（http://hadoop.apache.org/）是⼀一款框架，允许使⽤用简单的编程模 型跨计算机集群分布式处理理⼤大型数据集。Hadoop开源免费...
【Hadoop-HDFS-Java】用Java代码对HDFS进行增删改查等操作
weixin_53543905的博客
12-25 564
【代码】【Hadoop-HDFS-Java】用Java代码对HDFS进行增删改查等操作。
java hdfs 2.0_Hadoop---Java-API对HDFS的操作
weixin_28323057的博客
02-13 165
Java-API对HDFS的操作哈哈哈哈，深夜来一波干货哦！！！Java-PAI对hdfs的操作，首先我们建一个maven项目，我主要说，我们可以通过Java代码来对HDFS的具体信息的打印，然后用java代码实现上传文件和下载文件，以及对文件的增删。首先来介绍下如何将java代码和HDFS联系起来，HDFS是分布式文件系统,说通俗点就是用的存储的数据库,是hadoop的核心组件之一,其他还有ma...
1、apache-kylin-3.1.3-bin-hadoop3介绍及部署、验证详解
alanchanchn的专栏
06-22 7万+
Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供 Hadoop 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc.开发并贡献至开源社区。Apache Kylin™ 令使用者仅需三步，即可实现超大数据集上的亚秒级查询。定义数据集上的一个星形或雪花形模型在定义的数据表上构建cube使用标准 SQL 通过 ODBC、JDBC 或 RESTFUL API 进行查询，仅需亚秒级响应时间即可获得查询结果。
hadoop离线day03--Hadoop HDFS
weixin_54527017的博客
05-25 877
hadoop离线day03--Hadoop HDFS 目录 hadoop离线day03--Hadoop HDFS 今日内容大纲 Apache HDFS入门 概念 HDFS重要特性 分块存储 副本机制 HDFS shell操作 命令 shell常见命令操作 文件限额操作 相关的命令 HDFS工作机制 读写流程图见画图。 NameNode与DataNode通信机制 HDFS Java API 核心类 HDFS辅助工具 跨集群复制数据 distcp（distributed
1-5.将Hadoop添加到环境变量，初始化HDFS,启动Hadoop，测试hdfs（Hadoop系列day01）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-21 2549
>>将Hadoop添加到环境变量1. [root@itcast01 Hadoop]# vim /etc/profile2. #打开这个文件之后，在文件末尾添加以下代码（上次配置的JDK也在下方写了出来） export JAVA_HOME=/uer/java/jdk1.7.0_60 export HADOOP_HOME=/itcast/hadoop-2.2.0 export PATH =$PATH
Hadoop系列——Google Option，LibHDFS介绍，HDFS常见的客户端day3-2
qq_51553982的博客
10-26 530
Libhdfs是用于Hadoop的分布式文件系统(HDFS)的基于.JNI的C API。它为HDFS API的一个子集提供了C API，以操作HDFS文件和文件系统。Libhdfs是Hladoop发行版的一部分，并在$Hadoop_HDFS_HOME/lib/本地/libhdfs.soLibhdfs与Windows兼容，可以通过运行MVN编译在Hadoop-HDFS-project/Hadoop-HDFS源树的目录。
2-2.HDFS的shell操作（Hadoop系列day02）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-23 765
oohdfs：建立在Linux系统之上的一个分布式文件系统 通过命令行的方式来操作hdfs查看是否启动Hadoop 关闭Hadoop 单独启动hdfs查看启动的服务查看hdfs根目录查看hdfs根目录（简写）hdfs的管理界面Linux上文件上传到hdfs查看hdfs根目录的某个文件的内容分页查看hdfs根目录的某个文件的内容查看hdfs根目录下文件（包括文件夹中的文件），文件夹（包括文件
2-2.1.Hadoop2.0x HDFS shell命令（Hadoop系列day02）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-23 727
Hadoop2 HDFS shell命令   1. hdfs dfs -appendToFile ...   可同时上传多个文件到HDFS里面   2.  hdfs dfs -cat URI [URI ...]   查看文件内容   3. hdfs dfs -chgrp [-R] GROUP URI [URI ...]   修改文件所属组   4.  hdfs df
3-1MR介绍（Hadoop系列day03）
此号已弃用，搬家到：https://my.oschina.net/yust5273
10-22 458
MR是什么MR是一个 分布式计算编程模型Google在2004年提出来MR模型，后来Hadoop借鉴了。我们通过他提供的一些接口和类就可以实现分布式计算。MR解决了海量数据的计算。 （Map并行计算；Reduce汇总） MR概述 用户只要写Map和Reduce的实现就可以了。 MR的输入和输出都是key、value对。 Hadoop1.0时代： MR老大叫JobTracker
1-2.伪分布模式安装步骤（Hadoop系列之day01）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-19 456
伪分布模式安装步骤 关闭防火墙 修改IP 修改hostname 设置ssh自动登录 安装jdk 安装Hadoop 关闭防火墙如果是对外网提供服务的，当然不能关闭防火墙，容易被别人搞死。 那么Hadoop为什么要关闭防火墙呢？ 因为Hadoop集群一般是公司内部使用。公司内部有多台节点，通信需要占用端口，如果防火墙把那个端口保护起来，就没法进行通信了。/** 如果不想关闭防火墙，那么还有另外一
1-6.测试MR和YARN （Hadoop系列day01）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-21 417
share目录–存放jar 找到官方的小例子 上传到hdfs 测试 查看日志
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值