java api为集群创建目录的四种方式

大数据技术Kafka详解 ③ | Kafka集群操作与API操作 本文详细介绍Kafka的集群与API操作。 阅读详情
package demo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

/*
 * 创建目录:HDFS的权限
 * 方式一: System.setProperty("HADOOP_USER_NAME", "root");
 * 方式二:Java的-D参数
 *       -DHADOOP_USER_NAME=root
 *       
 * 方式三:hdfs dfs -chmod 777 /
 * 方式四:dfs.permissions参数
 *
 */
public class Demo1 {

    @Test
    public void testMkDir1() throws Exception{
        //设置我自己是谁
        System.setProperty("HADOOP_USER_NAME", "root");
        
        //设置参数信息
        Configuration conf = new Configuration();
        //设置NameNode的地址
        conf.set("fs.defaultFS", "hdfs://192.168.137.111:9000");
        
        //创建一个客户端
        FileSystem fs = FileSystem.get(conf);
        //创建目录
        fs.mkdirs(new Path("/folder1"));
    }
    
    @Test
    public void testMkDir2() throws Exception{
        //设置参数信息
        Configuration conf = new Configuration();
        //设置NameNode的地址
        conf.set("fs.defaultFS", "hdfs://192.168.137.111:9000");
        
        //创建一个客户端
        FileSystem fs = FileSystem.get(conf);
        //创建目录
        fs.mkdirs(new Path("/folder2"));
    }
    
    @Test
    public void testMkDir3() throws Exception{
        //设置参数信息
        Configuration conf = new Configuration();
        //设置NameNode的地址
        conf.set("fs.defaultFS", "hdfs://192.168.137.111:9000");
        
        //创建一个客户端
        FileSystem fs = FileSystem.get(conf);
        //创建目录
        fs.mkdirs(new Path("/folder3"));
    }
    
    @Test
    public void testMkDir4() throws Exception{
        //设置参数信息
        Configuration conf = new Configuration();
        //设置NameNode的地址
        conf.set("fs.defaultFS", "hdfs://192.168.137.111:9000");
        
        //创建一个客户端
        FileSystem fs = FileSystem.get(conf);
        //创建目录
        fs.mkdirs(new Path("/folder4"));
    }
}
java操作Hadoop源码之HDFS Java API操作-创建目录 java操作Hadoop源码之HDFS Java API操作-创建目录,附带所需全部jar包,欢迎下载学习。 立即下载

相关推荐

java通过api方式操作Hadoop

该资源是java通过api的方式来操作hadoop,主要有以下操作: 一.文件操作 1.上传本地文件到hadood 2.在hadoop中新建文件,并写入 3.删除hadoop上的文件 4.读取文件 5.文件修改时间 二.目录操作 1.在hadoop上创建目录 2.删除目录 3.读取某个目录下的所有文件 三.hdfs信息 1.查找某个文件在HDFS集群中位置 2.获取HDFS集群上所有名称节点信息

java中实现创建目录、创建文件的操作

一、创建目录 mkdir()——仅创建一层目录,返回true或false. mkdirs()——创建一层或多层目录,返回true或false.   也就是,在通常情况下,使用mkdirs()即可满足创建目录的需求。 如, File file = new File("D:\\myLevel1\\myLevel2"); //以某路径实例化一个File对象 if (!file.exists()){ //如果不存在 boolean dr = file.mkdirs(); //创建目录 } 即在D盘根目录

归去来兮的博客 3万+

【软碟通 | UltraISO】刻录光盘教程(制作U盘启动盘)

前言 今天老师说办公室的电脑有点卡,让我给重新安装一个 Windows 7 系统。于是就用软碟通(UltraISO)在 U 盘上刻录了一个 Windows 7 镜像,然后给老师重装了系统。顺便把制作 U 盘启动盘的教程也分享给大家。 软件 UltraISO v9.7.1.3519:点击跳转(密码:dd2k) 教程 将 U 盘插到电脑上,然后鼠标右击选择格式化(制作启动盘必须格式化) 点击文件-打开 选择下载好的系统镜像(如:Windows 7) 点击启动-写入硬盘映像 选择硬盘

XavierJ的博客 2万+

JAVA API操作-创建目录

JAVA API操作-创建目录 package com.hdfs; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.juni...

菜鸟-传奇 798

Google AdSense收款前必做:W-8BEN税务认证的3个关键选择与1个提交时机小技巧

本文深入解析Google AdSense收款前必须完成的W-8BEN税务认证,重点介绍账号类型选择、特殊税率勾选、美国活动界定等3个关键决策,并分享提交时机的小技巧,帮助站长高效通过审核,确保广告收入顺利到账。

weixin_30443731的博客 678

Chapter 7 Linear Voltage Regulators

这一章我们介绍LDO.

2304_76736886的博客 2764

Java API之IO创建文件、文件夹!

1 、File类有三种构造方法: 1)File(File parent,String child) 根据parent抽象路径名和child路径名字符串创建一个File实例。 package com.file; import java.io.File; public class FileCreate { public static void main(String[] args) {

lu677521的博客 6204

【5G】5G 核心网(5GC)基本架构

本文旨在科普5G核心网相关知识...

Learning makes me happy (0^◇^0) 4万+

使用JavaAPI操作HDFS创建目录和权限问题

一、创建目录 1.首先在虚拟Linux上找到jar包 $HADOOP_HOME/share/hadoop/common/*.jar $HADOOP_HOME/share/hadoop/common/lib/*.jar $HADOOP_HOME/share/hadoop/hdfs/*.jar $HADOOP_HO...

大数据学习 7433

摩尔线程GPU实战:5分钟搞定AI模型部署(含Docker避坑指南)

本文详细介绍了摩尔线程GPU在AI模型部署中的实战应用,包括环境配置、Docker避坑指南及性能优化技巧。通过5分钟快速部署指南,帮助开发者高效利用摩尔线程GPU进行AI模型推理,特别针对常见兼容性问题提供解决方案,显著提升部署效率。

weixin_28736335的博客 454

RT-Thread实战:手把手教你用STM32F04ZGT6通过SPI驱动BMI088(附完整工程)

本文详细介绍了如何使用RT-Thread操作系统在STM32F04ZGT6上通过SPI接口驱动BMI088高性能6轴惯性传感器(包含陀螺仪和加速度计)。从硬件连接到软件配置,再到数据采集与处理,提供了完整的开发指南和优化技巧,帮助开发者快速实现精确的姿态测量功能。

kappa的博客 237

Elasticsearch学习(九)————Java四种添加文档方式(Index API)

Index API————(添加文档) 官网地址:https://www.elastic.co/guide/en/elasticsearch/client/java-rest/6.4/java-rest-high-document-index.html 1.pom文件添加依赖(注意:依赖版本和安装的es主版本相同) <!--es的rest风格的高级客户端 --> &lt...

qq_42513284的博客 3621

多物理场耦合仿真-主题032-电磁-流体耦合

电磁-流体耦合,即磁流体动力学(MHD, Magnetohydrodynamics),是研究导电流体在电磁场中运动规律的学科,涉及电磁场与流体力学的深度耦合。本主题系统阐述磁流体动力学的基本理论、控制方程和数值方法。首先介绍MHD的基本概念和物理基础,包括导电流体的性质、电磁场基本方程;然后详细推导MHD控制方程组,包括连续性方程、动量方程、能量方程和电磁场方程;接着讨论MHD流动的特征参数,如Hartmann数、磁雷诺数、相互作用参数等;最后通过六个典型工程案例展示MHD分析的实际应用,包括电磁泵、磁流体

2401_87715305的博客 425

java 连接hadoop集群_hadoop集群访问——Hadoop客户端访问、Java API访问

上一篇中介绍了hadoop集群搭建方式,本文介绍集群的访问。集群的访问方式有两种:hadoop客户端访问,Java API访问。一、集群客户端访问Hadoop采用C/S架构,可以通过客户端对集群进行操作,其实在前面搭建的集群环境中,每个集群节点都可以作为一个客户端进行集群访问,但是一般场景下,会将集群服务器作为整体,从外部设置客户端对集群进行访问。为了能从集群服务器外部访问,需要一台与集群服务器在...

weixin_35724881的博客 1690

yocto系列讲解[实战篇]54 - 添加Qt5和生成带Qt5的SDK

为了满足读者盆友想看yocto如何添加qt5的需求,今天就开始尝试添加meta-qt5

fulinux的博客 3871

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

hdfs 创建用户和用户组_HDFS两种操作方式:命令行和Java API

HDFS 文件操作有两种方式:一种是命令行方式,Hadoop 提供了一套与 Linux 文件命令类似的命令行工具;另一种是 JavaAPI,即利用 Hadoop 的 Java 库,采用编程的方式操作 HDFS 的文件。本节将介绍 Linux 操作系统中关于 HDFS 文件操作的常用命令行,并将介绍利用 Hadoop 提供的 Java API 进行基本的文件操作,以及利用 Web 界面查看和管理 H...

weixin_35176891的博客 408

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

HDFS两种操作方式:命令行和Java API

HDFS 文件操作有两种方式:一种是命令行方式,Hadoop 提供了一套与Linux文件命令类似的命令行工具;另一种是JavaAPI,即利用 Hadoop 的 Java 库,采用编程的方式操作 HDFS 的文件。 本节将介绍 Linux 操作系统中关于 HDFS 文件操作的常用命令行,并将介绍利用 Hadoop 提供的 Java API 进行基本的文件操作,以及利用 Web 界面查看和管...

大数据基础学习 1710

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

利用 Docker 安装 Hadoop 集群并通过 Java API 访问 HDFS

前言 最近刚好在学习 Hadoop,在安装过程中遇到了一些小麻烦,正好将此次过程记录并分享出来,希望能对准备学习本块内容的读者们有所帮助。本次操作在 Ubuntu 中完成,如何安装 Ubuntu 本文不再赘述。 本文所涉及到的代码及配置文件可在微信公众号「01 二进制」后台回复「hadoop」获取。 在 Ubuntu 中安装配置 Docker 使用官方安装脚本自动安装 安装命令如...

3367

HDFS Java API编程:Demo程序实验

HDFS JavaAPI编程实验 编程环境: 方式一(必学):创建Java Project,直接导入hadoop-2.6.0-cdh5.7.0.tar.gz安装包中与HDFSAPI编程的有关jar包 参考文章:https://blog.youkuaiyun.com/qq_42881421/article/details/83001401 方式二(选学):创建MavenProject,修改POM....

qq_35447918的博客 2627

基于JAVA API方式使用Kafka——编写生产者客户端

基于JAVA API方式使用Kafka 编写生产者客户端 【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】 1.导入依赖: <repositories> <repository> <id>nexus-aliyun</id> <name>nexus-aliyun</name> <url>http://maven.aliyun.com/nexus/content

fy_1852003327的博客 631

Zookeeper 初体验之——JAVA API 初探

原文: http://www.cnblogs.com/haippy/archive/2012/07/19/2600032.html 简介 Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子项目发展而来,现在已经成为了 Apache 的顶级项目。Zookeeper 为分布式系统提供了高效可靠且易于使用的协同服务,它可以为分布式应用提供相当

1148

hadoop java api下载文件_java通过api方式操作Hadoop

【实例简介】该资源是java通过api的方式来操作hadoop,主要有以下操作:一.文件操作1.上传本地文件到hadood2.在hadoop中新建文件,并写入3.删除hadoop上的文件4.读取文件5.文件修改时间二.目录操作1.在hadoop上创建目录2.删除目录3.读取某个目录下的所有文件三.hdfs信息1.查找某个文件在HDFS集群中位置2.获取HDFS集群上所有名称节点信息【实例截图】【核...

weixin_35840387的博客 262

Springboot+Spark(http请求调用spark api,并以集群模式运行)

Springboot+Spark

qq_35514685的博客 1万+

Hadoop Java API

Hadoop Java API 1、常用对象 org.apache.hadoop.fs.FileSystem HDFS的主要操作对象,必须获取到这个实例对象,才可以操作HDFS. 这是一个比较通用的文件系统的抽象基类,可以实现分布式系统或者本地连接磁盘,本地版本可以做hadoop的小测试。 要想使用HDFS,那么就得使用这个FileSystem的对象或者子类对象。 本地实现是L...

曾有樱花落海洋 1151
上一篇: hdfs的操作命令
下一篇: 信用卡违约客户的预测模型的选择(一)相关技术介绍
jesuswalks
博客等级 码龄18年 40粉丝 13原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值