Hdfs的Java api应用

HDFS应用-后端存储cephfs-java-API HDFS(Hadoop Distribute FileSystem)是一个适合运行在通用硬件之上,具备高度容错特性,支持高吞吐量数据访问的分布式文件系统,非常适合大规模数据集应用。HDFS适用于如下场景:• 处理海量数据(TB或PB级别以上)• 需要很高的吞吐量• 需要高可靠性• 需要很好的可扩展能力HDFS支持使用Java语言进行程序开发,具体的API接口内容请参考HDFS Java API接口介绍。 阅读详情

1、新建一个IDEA的maven工程


2、引入依赖

       


3、创建测试类HdfsClient

    

package com.motoon;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.junit.Before;
import org.junit.Test;

import java.io.FileNotFoundException;
import java.io.IOException;
import java.net.URI;

/**
 * @author rjsong

 */
public class HdfsClient {

    FileSystem fs = null;

    @Before
    public void init() throws Exception {

        // 构造一个配置参数对象,设置一个参数:我们要访问的hdfs的URI
        // 从而FileSystem.get()方法就知道应该是去构造一个访问hdfs文件系统的客户端,以及hdfs的访问地址
        // new Configuration();的时候,它就会去加载jar包中的hdfs-default.xml
        // 然后再加载classpath下的hdfs-site.xml
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.61.138:9000");
        /**
         * 参数优先级: 1、客户端代码中设置的值 2、classpath下的用户自定义配置文件 3、然后是服务器的默认配置
         */
        conf.set("dfs.replication", "1");

        // 获取一个hdfs的访问客户端,根据参数,这个实例应该是DistributedFileSystem的实例
        // fs = FileSystem.get(conf);

        // 如果这样去获取,那conf里面就可以不要配"fs.defaultFS"参数,而且,这个客户端的身份标识已经是hadoop用户
        fs = FileSystem.get(new URI("hdfs://192.168.61.138:9000"), conf, "root");

    }

    /**
     * 往hdfs上传文件
     *
     * @throws Exception
     */
    @Test
    public void testAddFileToHdfs() throws Exception {

        // 要上传的文件所在的本地路径
        Path src = new Path("E://hadoop.txt");
        // 要上传到hdfs的目标路径
        Path dst = new Path("/cc");
        fs.copyFromLocalFile(src, dst);
        fs.close();
    }

    /**
     * 从hdfs中复制文件到本地文件系统
     *
     * @throws IOException
     * @throws IllegalArgumentException
     */
    @Test
    public void testDownloadFileToLocal() throws IllegalArgumentException, IOException {
        fs.copyToLocalFile(new Path("/cc/aa.txt"), new Path("d:/"));
        System.out.println("success...");
        fs.close();
    }

    @Test
    public void testMkdirAndDeleteAndRename() throws IllegalArgumentException, IOException {

        // 创建目录
        fs.mkdirs(new Path("/cc/aa"));

        // 重命名文件或文件夹
        fs.rename(new Path("/aa"), new Path("/aa2"));

        // 删除文件夹 ,如果是非空文件夹,参数2必须给值true
        fs.delete(new Path("/cc/aa2"), true);

    }

    /**
     * 查看目录信息,只显示文件
     *
     * @throws IOException
     * @throws IllegalArgumentException
     * @throws FileNotFoundException
     */
    @Test
    public void testListFiles() throws FileNotFoundException, IllegalArgumentException, IOException {

        // 思考:为什么返回迭代器,而不是List之类的容器
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);

        while (listFiles.hasNext()) {
            LocatedFileStatus fileStatus = listFiles.next();
            System.out.println(fileStatus.getPath().getName());
            System.out.println(fileStatus.getBlockSize());
            System.out.println(fileStatus.getPermission());
            System.out.println(fileStatus.getLen());
            BlockLocation[] blockLocations = fileStatus.getBlockLocations();
            for (BlockLocation bl : blockLocations) {
                System.out.println("block-length:" + bl.getLength() + "--" + "block-offset:" + bl.getOffset());
                String[] hosts = bl.getHosts();
                for (String host : hosts) {
                    System.out.println(host);
                }
            }
            System.out.println("--------------为angelababy打印的分割线--------------");
        }
    }

    /**
     * 查看文件及文件夹信息
     *
     * @throws IOException
     * @throws IllegalArgumentException
     * @throws FileNotFoundException
     */
    @Test
    public void testListAll() throws FileNotFoundException, IllegalArgumentException, IOException {

        FileStatus[] listStatus = fs.listStatus(new Path("/"));

        String flag = "d--             ";
        for (FileStatus fstatus : listStatus) {
            if (fstatus.isFile())  flag = "f--         ";
            System.out.println(flag + fstatus.getPath().getName());
        }
    }
}

        

大数据应用技术实验报告二 HDFS命令和Java API Linux的shell命令 常用的linux的shell命令: cd /aa 转到/aa目录 pws 显示当前目录 ll /aa 显示/aa目录 mkdir /aa 新建/aa目录 rm /aa/out.txt 删除/aa目录下的out.txt文件 cat /aa/out.txt 查看/aa目录下的out.txt文件的... 阅读详情

相关推荐

医保目录遴选数据库设计:从流程建模到数据闭环

在复杂业务系统中,数据库设计不仅仅是建表,更是对业务流程的结构化抽象。通过数据建模将非结构化信息转化为可检索、可关联的结构化数据,并借助状态机与快照机制记录关键过程,是实现数据可追溯与可复算的核心原理。这种设计能有效提升数据一致性、审计能力与多维分析价值,广泛应用于政务评审、项目申报、专家投票等强流程场景。在医保目录遴选项目中,围绕申报主表、评审事实表、维度表和状态流转表构建的数据模型,成功支撑了从材料受理到评审投票的全链路数字化闭环。文章结合实际落地中的常见坑,为同类系统建设提供了可复用的设计思路与实践经

weixin_34221073的博客 421

HDFS常用java api整理及使用示例

主要是一些文件系统的常用操作,包括增删文件及文件夹,读写操作,查看操作等。一:几个常用类介绍   (1):configuration类:此类封装了客户端或服务器的配置,通过配置文件来读取类路径实现(一般是core-site.xml)。(2):FileSystem类:一个通用的文件系统api,用该对象的一些方法来对文件进行操作。FileSystem fs = FileSystem.get(conf)...

zhuge134的博客 1577

虚幻UE 增强输入-触发器

输入触发器(UInputTrigger): 使用经过修饰器修改的输入值,或者使用其他输入动作的输出值,来确定是否激活输入动作。

UE成长之路,欢迎大家的关注! 5467

大数据----6.HDFS中JAVA API的使用

HDFS中JAVA API的使用 HDFS是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。 对分HDFS中的文件操作主要涉及一下几个类: Configuration类:该类的对象封转了客户端或者服务器的配置。 FileSystem类:该类的对象是一个文件系统对象,可以用该对象的一些方法来对文件进行操作。FileSystem fs = FileSystem.get(conf);通过Fi

u014579001的博客 378

Claude Code Router 401错误修复

claude code router配置相关环境变量问题

如沐春风 6366

cJSON库用完后内存泄漏?手把手教你正确使用cJSON_Delete和free释放资源

本文深入解析cJSON库的内存管理机制,重点解决使用后的内存泄漏问题。通过详细讲解cJSON_Delete和free的正确使用方法,帮助开发者在处理JSON数据时有效释放资源,避免内存泄漏。特别适用于嵌入式系统和资源受限环境,提升开发效率和系统稳定性。

weixin_30808693的博客 421

HDFS Java API 操作

java API 操作hdfs

m0_72168501的博客 4317

渗透测试实战—云渗透(AK/SK泄露)

渗透测试实战思路分享:getshell方法及横向移动方法,云安全(AK/SK泄露)

网安日记本的博客 4052

Hadoop学习笔记系列:03-Hadoop-Hdfs的Java Api的常用操作

文章目录概述一、添加pom.xml依赖HDFS的java API 操作创建Hdfs的FileSystem 环境创建目录判断文件或者目录是否存在创建文件上传本地文件到hdfs下载文件到本地删除文件或目录查看文件列表信息使用文件流的方式写hdfs文件使用文件流的方式下载文件完整的代码示例报错:java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.报错解决报错: Permission denied: user=TianTi

926

卷积码和Turbo码

通信原理相关博文目录:目录我们常在移动通信中遇到的卷积码就是一种非分组码,卷积码和信号处理中的卷积运算有关系吗?是不是就是信号处理中的卷积运算,先看看编码器的编码原理再说:下面是一个比较实用的卷积码编码器:它有三个移位寄存器D0,D1,D2和三个模2加法器,以及一个旋转开关组成,编码前,先将各级移位寄存器清零:现在假设输入的信息码元是1101:当输入的第一个码元为1时,三个模2加法器计算的结果都为...

Reborn Lee 2万+

GOM引擎单机传奇架设全攻略——从DBC2000配置到登录器生成

本文详细解析了使用GOM引擎架设单机传奇的完整流程,从DBC2000的安装配置、服务端部署、引擎控制器设置,到登录器生成与客户端补丁放置。文章重点解决了单机架设中的常见问题,如数据库路径配置、IP地址设置及Key.lic文件处理,旨在帮助玩家快速搭建稳定的个人游戏环境,体验GM乐趣。

weixin_28318011的博客 639

hadoop实战之HDFS常用JavaAPI

/第三个参数为复制缓冲区大小,第四个参数复制后是否关闭数据流。//FSDataInputStream实现了Seekable接口允许在文件中定位。也可以使用FileSystem的append方法在一个已经存在的文件上追加内容(hadoop2.x版本才开始支持)//使URL可以解析hdfs,这个方法在一个jvm中只能调用一次。使用前要在conf目录下hdfs-site.xml文件中加入。1、使用URL读取数据。

G11176593的博客 555

【TM1650】STM8S TM1650芯片控制程序

以下为.h文件: #ifndef __TM1650_I2C_H #define __TM1650_I2C_H #include "stm8s.h" #include "stm8s_gpio.h" #include "tim1.h" #include "usart2.h" #include &lt;iostm8s103f3.h&gt; #include &lt;intrinsics....

cxw312864660的博客 1万+

HDFS Java API 开发指南:从基础操作到高级应用

HDFS (Hadoop Distributed File System) 作为大数据生态的核心存储系统,提供了分布式、高容错、高吞吐量的数据存储能力。通过 Java API 操作 HDFS 是开发大数据应用的基础技能。本文将基于你的笔记,详细解析 HDFS Java API 的使用方法,并提供完整的代码示例和最佳实践。

qq_42773076的博客 483

Keil C51开发必看:详解data/xdata/bdata内存分配陷阱与避坑指南

本文深入解析Keil C51开发中的data/xdata/bdata内存分配陷阱,提供针对51芯片的高效避坑指南。通过真实案例揭示Keil编译器的隐藏规则,分享内存优化策略和调试技巧,帮助开发者解决data溢出、xdata访问异常等典型问题,提升嵌入式开发效率。

v6b7n8m9q0的博客 1072

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

HDFS Java API应用

1.需求: 从hdfs文件 /tmp/tianliangedu/input.txt中读取其文本内容,并打印出来 2.操作实现 2.1资源准备 本地新建文件 index.txt,写入“HelloWorld Hadoop”内容,上传至 HDFS 文件系统的 /tmp/tianliangedu/input.txt 文件中。 2.2Maven环境搭建 Maven开发环境搭建,用Eclipse IDE工具,...

Hbin_优快云的博客 234

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

HDFS JAVA API的应用

1. (简答题) 使用HDFS 的JAVA API 进行编程: (1)获取自己HDFS集群下的所有文件和目录; (2)在跟目录下创建以自己名字拼音缩写命名的目录,并任意上传一个文件至该目录; (3)下载(2)中上传的文件。 要求:分别上传3道小题的源代码和结果截图(浏览器或控制台)。

zn2021220822的博客 811

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

视频教程-深入浅出大数据核心技术与应用--HDFS Java API与应用实践-Hadoop

深入浅出大数据核心技术与应用--HDFS Java API与应用实践 12 ...

weixin_30745415的博客 203

HDFS与java API应用

java代码操作hadoop文件需要用hadoop的jar包,comment,hdfs,yarn,mapreduce,内均有有关jar包,eclipse操作hadoop还需要配置core-site.xml和hdfs-site.xml文件,文件流操作所用的路径写为“hdfs://localhost:9000/home/test” 转载于:https://www.cnblogs.com/1605-3Q...

weixin_34419321的博客 105

大数据之HDFS应用开发(java API)

1、搭建开发环境window下开发的说明: A、在windows的某个目录下解压一个hadoop的安装包 B、将安装包下的lib和bin目录用对应windows版本平台编译的本地库替换 (这里我的环境是win10、hadoop2.6.4。 对应的win10的编译的本地库下载地址:http://pan.baidu.com/s/1dFzYVKH 密码:pdj9) C、在window系统中配置

Magician的博客 1057

Hadoop之HDFS的应用(Java API实现文件上传与下载)

HDFS客户端环境搭建就不在这里赘述了,不知道怎么搭建读者可参考这篇博客:https://blog.youkuaiyun.com/weixin_43800761/article/details/106854426 一、HDFS文件上传 源代码编写 @Test public void testCopyFromLocalFile() { // 创建作业,配置作业所需参数 Configuration conf = new Configuration(); conf.

weixin_43800761的博客 3515

hadoop第二天——2. HDFS的应用开发(JAVA API操作)

二、HDFS的应用开发 HDFS的JAVA API操作 - 配置环境变量(HADOOP_HOME、path) 因为在windows上做HDFS客户端应用开发,需要设置Hadoop环境,而且要求是windows平台编译的Hadoop,否则会报“找不到winutils.exe”的错误。 - 搭建开发环境(创建maven工程,引入pom依赖) 方案一,使用cdh仓库的依赖: <repositories> <repository> <id>cloudera</id>

zsy 525

4.HDFS应用_Java API

一.开发环境搭建 使用IDE工具(Eclipse或Idea)创建一个Maven工程,导入Hadoop依赖包。 &lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven....

风不止步的博客 187

Hadoop系统应用之HDFS相关操作 - - Java-API对HDFS的操作(IDEA版)

5.在win系统下不配置hadoop环境,直接运行代码会报错,显示缺少winutils.exe 和 hadoop.dll 两个文件. (文件位于个人主页&8.在windows系统,配置hadoop的环境变量: HADOOP_HOME,并将%HADOOP_HOME%\bin添加到path中.9.把hadoop-2.7.3文件夹中bin目录下的hadoop.dll 放到系统盘: C:Windows \System32目录下。,相关的操作有:文件上传、文件下载、新建文件夹、查看文件、删除文件。

m0_57464618的博客 2409

大数据技术原理与应用实验指南——HDFS JAVA API编程实践

把配置文件放到当前Java工程目录下:需要把集群上的core-site.xml和hdfs-site.xml(这两个文件存在于/usr/local/hadoop/etc/hadoop目录下)放到当前工程项目下,即eclipse工作目录的bin文件夹下面。该命令中表示在HDFS中创建一个“/user/hadoop”目录,“–mkdir”是创建目录的操作,“-p”表示如果是多级目录,则父目录和子目录一起创建,这里“/user/hadoop”就是一个多级目录,因此必须使用参数“-p”,否则会出错。

qq_57168149的博客 2212
上一篇: Zookeeper在Java api中的应用
下一篇: HBase的java api应用
songrj1
博客等级 码龄9年 19粉丝 67原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值