java读取hdfs文件

布丁味

已于 2022-05-07 09:04:12 修改

阅读量1.8k

点赞数 1

CC 4.0 BY-SA版权

文章标签： hdfs java hadoop

于 2022-05-07 08:44:45 首次发布

本文链接：https://blog.youkuaiyun.com/wang5g/article/details/124623119

这篇文章介绍了如何在Hadoop分布式文件系统（HDFS）上使用Hadoop Job进行文件操作，具体展示了如何设置Job的输入路径为student.txt，以及将输出结果保存到test目录下。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

  FileInputFormat.setInputPaths(job, new Path("hdfs://single:9000/test/student_ext/student.txt"));
  FileOutputFormat.setOutputPath(job, new Path("hdfs://single:9000/test/student_ext/test"));

在这里插入图片描述

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

布丁味

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

java对大数据HDFS文件操作

04-04

java对大数据HDFS文件操作jar包和maven2个项目,有jar包,有依赖,2个项目呦

java 读取hdfs上的文件内容

Alex的博客

12-20

8672

java 读取hdfs上的文件内容

参与评论您还未登录，请先登录后发表或查看评论

Java API 读取HDFS的单文件

个人技术博客

08-19

1558

Java API 读取HDFS的单文件

记录Java读取hdfs上的文件全过程

一名想当程序员的人

06-04

2696

跟着白哥学Java，今天就来分享一下Java如何上传文件到hdfs上面

Java 读取HDFS文件系统

anfuyi5792的博客

07-29

174

最近有个需求，计算用户画像。系统大概有800W的用户量，算每个用户的一些数据。数据量比较大，算用hive还是毫无压力的，但是写的oracle，在给出数据给前端，就比较难受了。然后换了种解决方法：　　1.hive计算，写的HDFS 　　2.API读出来，写到hbase（hdfs和hbase的版本不匹配，没办法用sqoop 直接导）然后问题就来了。需要写个API，读...

java远程读写hdfs文件内容_java读写hdfs文件

weixin_39965673的博客

02-17

725

前言最近接触了分布式文件存储系统FastDFS，但FastDFS是底层是用C语言写的，因此安装的时候还需要make，这一点很是不爽。自己之前研究过Hadoop，其中的hdfs就是一个分布式文件系统，而且Hadoop是用java语言编写的，因此考虑能否用hdfs来代替FastDFS。经过反复实践，基本能够远程连接hdfs进行文件的操作了，直接上代码。本示例的前提是先启动hdfs文件系统，关于如何搭建...

java实现hdfs文件读写

wl20040124的博客

03-19

1374

Java实现hdfs文件读写一、创建java maven工程对hdfs文件进行读取1、新建maven工程2、修改pom.xml3、java代码二、jar包打包三、args[]传参方法一、创建java maven工程对hdfs文件进行读取 1、新建maven工程新建maven工程，选择quickstart方式填写文件路径名及工程命选择maven版本，并选择本机maven中的setting.xml 新建之后，选择enable自动导入包 2、修改pom.xml <properties&g

java操作hdfs读写

w_mchen的博客

12-22

1810

HDFS读写操作 public class HdfsOp { public static void main(String[] args) throws Exception { hdfsReadFile("hdfs://192.168.153.133:9000/", "hdfs://192.168.153.133:9000/spark/sparktmp.txt" ); hdfsWriteFile("out/ww.txt","hdfs://chen133:9000/", "hdfs://192.1

java 读写 hdfs文件系统例子(包括权限设置)

04-10

java 读写 hdfs文件系统例子(包括权限设置);java 读写 hdfs文件系统例子(包括权限设置)java 读写 hdfs文件系统例子(包括权限设置)

使用Java实现HDFS文件读写

qq_48395735的博客

06-30

8876

1、HDFS读文件 2、HDFS写文件 3、实例操作 3.1新建Mawen工程 3.2在pom.xml中将标签中内容替换为以下代码，静待依赖包下载完毕 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version>

java 读取hdfs文件_Java 操作 Hadoop 的 HDFS 文件系统

weixin_34211615的博客

02-12

912

public classTestHadoop {private staticConfiguration conf;private staticFileSystem fs;/*** 初始化*@throwsException*/public static void init() throwsException {conf= newConfiguration();conf.set("fs.default...

java hdfs文件_java读写HDFS

weixin_35974217的博客

02-12

411

package cn.test.hdfs;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import ...

JAVA实现HDFS文件的读写

atmospheric的博客

04-23

8022

JAVA实现HDFS文件的读写

Hadoop HDFS (3) JAVA訪问HDFS

weixin_34354173的博客

03-14

130

如今我们来深入了解一下Hadoop的FileSystem类。这个类是用来跟Hadoop的文件系统进行交互的。尽管我们这里主要是针对HDFS。可是我们还是应该让我们的代码仅仅使用抽象类FileSystem。这样我们的代码就能够跟不论什么一个Hadoop的文件系统交互了。在写測试代码时，我们能够用本地文件系统測试，部署时使用HDFS。仅仅需配置一下，不须要改动代码了。在Hadoop 1.x...

Java API 读取HDFS目录下的所有文件

热门推荐

个人技术博客

08-18

1万+

Java API 读取HDFS目录下的所有文件

HDFS每日一练1 API读取文件

Auraros的博客

10-24

5143

【转】Java从hdfs上读取文件中的某一行

weixin_30335575的博客

06-11

308

【From】https://blog.youkuaiyun.com/u010989078/article/details/51790166 package test; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.net....

Java读取hdfs数据

qq_45329568的博客

04-04

1662

Java读取hdfs数据前言一、创建一个maven项目![在这里插入图片描述](https://img-blog.csdnimg.cn/20210330095348553.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MzI5NTY4,size_16,color_FFFFFF,t_70)二、导入依赖1.引入库2.读入数据总结前言大

Java实现读取HDFS目录

杨鑫newlife的专栏

01-07

2887

LOG.info("检查是否有当前日期的目录"); fsUtil.checkDirExists(new File(configUtil.readConfig("download.file.path") + currentDay)); FSDataInputStream in = null; LOG.info("生成以JobID命名的目录"); ...