java操作hdfs

最新推荐文章于 2024-03-13 22:34:11 发布
原创 最新推荐文章于 2024-03-13 22:34:11 发布 · 1.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

该博客详细介绍了Hadoop HDFS的配置步骤，包括删除tmp目录，修改namenode和slaves的IP地址，执行hadoop namenode -format进行格式化，以及通过start-dfs.sh启动HDFS服务。

1.删除tmp

2.修改配置

修改namenode的地址为具体IP (之前写的localhost)

修改slaves文件,为具体IP

 

3. 格式化hdfs

hadoop namenode –format

4.启动HDFS

start-dfs.sh

刘昌进
关注
Java操作hdfs文件系统
congge
12-26 1万+
前言 在上一篇，我们通过命令行的使用掌握了如何基于hdfs的命令对hdfs文件系统的常用操作，本篇将分享如何基于JavaAPI 操作hdfs文件系统 前置准备 默认服务器上的hadoop服务已经启动 本地如果是windows环境，需要本地配置下hadoop的环境变量 本地配置hadoop的环境变量 1、官网下载一个与服务器上的hadoop同样的版本包 2、将这个路径配置到系统变量中 编码环境前置准备 使用idea快速构建一个springoot的工程 1、导入maven依赖 <depende
windows上通过java操作hdfs
qq_46183012的博客
09-06 611
windows上通过java操作hdfs 我这里hadoop的版本是3.1.3，下载Hadoop3.1.1 链接：https://pan.baidu.com/s/13U3AET-vbQ0SvITDGHvRYg?pwd=1234 提取码：1234 把它解压到自己记得的目录，路径上最好不要有英文，Windows上应该需要解压2次 我这里解压出来后的完整路径是 G:\dev\hadoop-3.1.3 需要把它配置到环境变量中 在系统变量中新建 名字为 HADOOP_HOME 值为 G:\dev\hadoop-3.
Hadoop大数据技术-java操作hdfs
m0_74394367的博客
03-13 2000
使用JavaApi对hdfs中的文件进行了创建、删除、上传、下载、读取、追加以及列出目录下的文件的基本操作
java对大数据HDFS文件操作
04-04
java对大数据HDFS文件操作jar包和maven2个项目,有jar包,有依赖,2个项目呦
Java操作HDFS
qwer2001727的博客
04-24 2032
准备工作: Hadoop环境变量配置 jdk环境变量配置 不详细演讲 下面直接演示代码:(如下) import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; import org.junit.Before; import java.io.File; import java.io.FileOutputStream; import ja
Java操作Hdfs
CJunZero的博客
04-24 1621
java代码 package cn.itcast.hadoop.hdfs; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.URI; import
JAVA操作HDFS案例的简单实现
08-29
"JAVA操作HDFS案例的简单实现" 本篇文章主要介绍了JAVA操作HDFS案例的简单实现，涵盖了JAVA操作HDFS的基本概念、HDFS的基本操作、 JAVA与HDFS的集成等相关知识点。 1. JAVA操作HDFS的基本概念 HDFS（Hadoop ...
java操作hdfs.rar
08-23
Java操作HDFS（Hadoop Distributed File System）是大数据领域中常见的任务，特别是在处理大规模数据时。HDFS是一个分布式文件系统，由Apache Hadoop项目开发，它设计为在廉价硬件上运行，提供高吞吐量的数据访问。...
Hadoop大数据处理技术-java操作HDFS（实验报告完整版）.doc
05-27
### Hadoop大数据处理技术-java操作HDFS实验报告知识点解析 #### 实验背景及目标 **实验标题**：“Hadoop大数据处理技术-java操作HDFS（实验报告完整版）” **实验描述**：本实验旨在加深对Hadoop大数据处理技术...
JAVA操作HDFS
giantleech的博客
03-19 739
JAVA操作HDFS JAVA直接操作 利用maven 导入Jar包pom.xml： <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.6.0-cdh5.14.2</version> </dependency> <dependency> <grou
JAVA代码操作HDFS
凉茶铺的博客
09-26 6001
介绍了如何通过Java代码方式来操作HDFS
Java操作hdfs
最新发布
10-16
在Java中，Hadoop Distributed File System (HDFS) 提供了一套API，使得开发者可以方便地在分布式文件系统上进行读写操作。Hadoop的HDFS客户端通常通过`java.io.FileInputStream`、`java.io.FileOutputStream`以及`org.apache.hadoop.fs.FileSystem`和`org.apache.hadoop.fs.Path`等类来操作。 以下是基本步骤： 1. **添加依赖**：首先需要在项目中引入Hadoop的HDFS库。如果你使用Maven，可以在pom.xml文件中加入`<dependency>`标签，如： ```xml <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.x.x</version> </dependency> ``` 2. **初始化FS客户端**： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); ``` 3. **创建路径**： ```java Path filePath = new Path("/path/to/your/file"); ``` 4. **读取文件**： ```java FileInputStream in = fs.open(filePath); // ...然后可以读取数据 ``` 5. **写入文件**： ```java FileOutputStream out = fs.create(filePath); byte[] data = "Hello, HDFS!".getBytes(); // 数据 out.write(data); out.close(); ``` 6. **关闭连接**： ```java fs.close(); ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值