大数据学习笔记08：Java程序访问HDFS

最新推荐文章于 2025-04-15 21:20:06 发布
最新推荐文章于 2025-04-15 21:20:06 发布
阅读量720 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 探索大数据-从Hadoop到Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/103869615

文章目录

一、HDFS常用Java API

1、org.apache.hadoop.fs.FileSystem

一个通用文件系统的抽象基类，可被分布式文件系统继承。

2、org.apache.hadoop.fs.FileStatus

文件状态接口，用于向客户端展示系统中文件和目录的元数据。具体包括文件大小、块大小、副本信息、所有者、修改时间等，可通过FileSystem.listStatus()方法获得具体的实例对象。

3、org.apache.hadoop.fs.FileDataInputStream

文件输入流，用于读取Hadoop文件。

4、org.apache.hadoop.fs.FileDataOutputStream

文件输出流，用于写Hadoop文件。

5、org.apache.hadoop.fs.Configuration

访问配置项，所有配置项的值，如果在core-site.xml中有对应的配置，则以core-site

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据学习笔记31：Java程序访问高可用Hadoop集群
howard2005的专栏
01-28 754
文章目录一、提出任务1、编写Java程序在HDFS上创建目录2、编写MapReduce程序进行词频统计二、准备工作1、启动hadoop集群1、启动ZooKeeper集群2、启动JournalNode集群3、启动NameNode4、启动DataNode5、启动错误恢复机制6、启动ResourceManager2、上传数据文件到HDFS3、创建Maven项目WorkOnHadoopCluster4、修...
大数据学习笔记：Hadoop生态系统
howard2005的专栏
02-26 1775
介绍Hadoop生态圈常用组件
大数据讲课笔记4.4 使用Java API操作HDFS
qq_61324603的博客
11-25 505
创建Maven项目 - HDFSDemo单击【Finish】按钮 Maven Repository（Maven仓库）- https://mvnrepository.com/ 搜索 单击超链接 单击超链接 3、创建日志属性文件 在目录里创建文件 4、启动集群HDFS服务 在主节点上执行命令： 在Hadoop WebUI界面查看 运行程序，查看结果​​​​​​​ 利用HDFS集群WebUI查看 再次运行程序，由于已经存在，此时会提示用户创
大数据学习：使用Java API操作HDFS
X_Serendipity的博客
11-30 2583
创建、读取、写入
大数据学习笔记14：MR案例——招聘数据分析
howard2005的专栏
01-15 1197
文章目录一、数据文件1、下载数据文件2、json文件行结构二、数据清洗与分析任务三、实现步骤1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目JobAnalysis4、修改pom.xml文件，添加依赖5、 创建log4j.properties文件6、第一阶段——读取文件每行数据（1）编写JobMapper（2）编写MaxDriver（3）查看结果文件7、第二阶段——清洗错误数...
大数据学习笔记
最新发布
A_Ashely的博客
04-15 736
大数据基础理论的学习笔记
大数据学习笔记2.2.JAVA API 操作
a1269936432的博客
11-24 711
Hadoop学习笔记
大数据技术学习笔记（四）—— HDFS
hu_wei123的博客
12-04 1298
随着数据量越来越大，在一个操作系统中存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是这样不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式管理系统中的一种。HDFS（Hadoop Distributed File System），是一个文件系统，用于存储文件，通过目录树来定位文件；其次，其是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS 的使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。
大数据学习笔记-HDFS（三）——集群管理运维
zhang_232的专栏
11-26 1898
目录 1、HDFS数据迁移解决方案1.1 迁移方案 ——数据迁移的使用场景和考量因素1.2分布式拷贝工具： DistCp的使用2、HDFS NameNode安全模式3、HDFS高阶优化方案3.1短路本地读取short circuit local reads3.2负载均衡、磁盘均衡器、纠删码存储4、HDFS动态节点管理4.1 俗称动态扩容、节点服役 4.2 节点下线、5、HDFS HA（高可用）机制5.1 HA引入 5.2 HA系统的核心问题
解决宿主机Ping不通虚拟机的问题
热门推荐
howard2005的专栏
07-30 7万+
在使用虚拟机的过程中，我们常常会遇到宿主机和虚拟机之间无法相互通信的问题。具体来说，我们要查看虚拟机和宿主机的 IP 地址，然后尝试进行 Ping 测试。在某些情况下，我们可能发现 Ping 虚拟机不通，接下来我将分享如何解决这个问题。
在Eclipse里搭建Scala开发环境
howard2005的专栏
04-10 9771
在Eclipse里搭建Scala开发环境Scala：一种类似Java的编程语言，综合了面向对象编程(Object-Oriented Programming)和函数式编程(Functional  Programming)的特性，有利于开发多核并发模型以及云计算(Parallelism  for  Mulicore  and  Cloud  Computing)项目。参考书目：Programming ...
Spark案例：Scala版统计单词个数
howard2005的专栏
12-14 8953
Spark案例：Scala版统计单词个数 利用Spark的RDD可以对本机或集群上的文件进行词频统计。 1、创建Scala项目SparkScalaWordCount 2、创建lib目录，添加spark的jar，并添加作为项目的库 3、在项目根目录创建test.txt文件 4、创建WordCount对象 package net.hw.spa...
如何让CentOS8虚拟机与主机相互Ping通
howard2005的专栏
11-13 7660
如何让CentOS8虚拟机与主机相互Ping通 在VMWare上安装了CentOS8，打开终端，发布nmcli命令： 当前连接的是virbr0，ipv4地址是192.168.122.1，而网卡ens33没有连接的。 打开主机的命令行窗口，发布命令ping 192.168.122.1： 请求超时，主机Ping不通虚拟机。 发布ipconfig命令，查看主机ipv4地址： 主机...
初试Octave软件
howard2005的专栏
12-16 7345
Octave是一款十分有用的数值计算软件。一、Octave基础1、使用Octave的内建函数>> exp(1)ans = 2.7183说明：exp函数表示底数为e的指数函数。>> x = 1.2*sin(40*pi/180+log(2.4^2))x = 0.76618说明：pi代表圆周率。>> log(e)ans = 1>> log10(100...
利用Octave解线性方程组
howard2005的专栏
02-17 6104
利用Octave解线性方程组 在初中，求解线性方程组的方法是消元法（代入消元或加减消元）。 比如，下面这个二元一次方程组，就是采用加减消元法来求解的。 消元法固然简单，容易理解，但是对于n元线性方程组，n值比较大时，这个方法就不好使了，对于这种情况，我们有没有更好的处理方法呢？答案是肯定的。 在线性代数里，对于线性方程组，采用矩阵和向量的计算方式。 首先利用向量和矩阵表示上述二元一次...
在Linux上安装JDK9
howard2005的专栏
02-22 5693
1、下载JDK9 http://www.oracle.com/technetwork/java/javase/downloads/jdk9-downloads-3848520.html 2、上传到虚拟机 3、安装JDK9 [root@park01 software]# rpm -ivh jdk-9.0.4_linux-x64_bin.rpm 4、配置环境变...
如何才能CentOS终端输入中文
howard2005的专栏
08-22 5123
如何才能CentOS终端输入中文 1、打开终端界面，使用su - root切换到超级用户，然后输入yum install -y "@Chinese support"，回车。 2、然后点击桌面左上角的System->Perference，在里面可以看到一个Input Method，点击进去。 3、选中Enable前面的方框，点击Input Method。 4、在打开的窗...
Scala案例：词频统计
howard2005的专栏
02-17 4985
一、提出任务 统计文本文件里单词出现次数。 二、完成任务 1、创建Scala项目 - ScalaWordCount 创建net.hw.wc包： 2、在项目根目录添加文本文件test.txt 3、在net.hw.wc包里创建scala源程序WordCount 4、运行程序，查看结果 ...
Zebra项目：分析、实施与测试
howard2005的专栏
01-13 4910
目录 第一部分 Zebra项目概述 一、Zebra项目介绍 二、日志数据结构分析 三、数据以| 分割后，每个数据项的含义 四、Zebra项目整体架构 （一）技术架构 （二）工程架构 五、Zebra业务说明 1、数据项含义 2、应用大类说明 3、应用小类说明 4、业务字段处理逻辑 5、zebra业务说明 六、Zebra项目设计思想 1、单机思想 2、四个进程职责 3...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值