Hadoop Core_HDFS总结（四）——HDFS数据格式详解

最新推荐文章于 2025-06-03 20:04:08 发布

enj3017

最新推荐文章于 2025-06-03 20:04:08 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop学习

本文链接：https://blog.youkuaiyun.com/weixin_40235225/article/details/85118333

本文主要探讨Hadoop HDFS中的数据格式，包括面向行和列的两类文件格式，以及可切分和不可切分计算的压缩格式。同时，提到了MapReduce优化中的局部聚合和压缩策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

据存储空间是有限的，数据本身和增量是动态变化的，企业要追求最佳的存储与计算的性价比。数据格式描述了数据保存在文件或者记录中的规则。HDFS 中分为文件格式和压缩格式。

1、文件格式

文件格式按面向的存储形式不同，分为面向行和面向列的两大类文件格式。

面向行

文本文件格式(.txt)

是(计算可切分)

查看便编辑简单

无压缩占空间大、传输压力大、数据解析

开销大

学习练习使用

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

enj3017

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

HDFS文件格式及压缩

JustinMars的博客

08-18

801

选择文件格式和压缩方式时，需要根据数据类型、存储需求和处理性能之间的权衡来进行决策。例如，Parquet和ORC适用于大规模结构化数据，而SequenceFile适用于键-值对，Avro适用于半结构化数据。压缩方式的选择取决于读写性能和存储空间的权衡。

大数据技术之_04_Hadoop学习_01_HDFS_HDFS概述+HDFS的Shell操作+HDFS客户端操作+HDFS的数据流(面试重点)+NameNode和SecondaryNameNode

黑泽君

02-05

787

大数据技术之_04_Hadoop学习_01_HDFS_HDFS概述+HDFS的Shell操作+HDFS客户端操作+HDFS的数据流(面试重点)+NameNode和SecondaryNameNode

参与评论您还未登录，请先登录后发表或查看评论

HDFS

qq_25072517的博客

07-27

630

HDFS的设计特点是： 1、大数据文件，非常适合上T级别的大文件或者一堆大数据文件的存储，如果文件只有几个G甚至更小就没啥意思了。 2、文件分块存储，HDFS会将一个完整的大文件平均分块存储到不同计算器上，它的意义在于读取文件时可以同时从多个主机取不同区块的文件，多主机读取比单主机读取效率要高得多得都。 3、流式数据访问，一次写入多次读写，这种模式跟传统文件不同，它不支持动态改变文件内容，而...

HDFS 文件存储格式全解析：从文本到列式存储的深度对比

最新发布

weixin_64603931的博客

06-03

807

HDFS 文件存储格式的选择是大数据性能优化的关键环节。Text File以兼容性取胜，适合中间结果处理，而凭借列式存储特性成为数仓分析的标配。实际应用中，建议根据数据生命周期（原始数据→中间数据→结果数据）灵活选择格式，并结合计算引擎特性（如 Spark 的谓词下推）最大化性能。

Hadoop_HDFS_常见的文件组织格式与压缩格式

迎难而上

07-27

3942

参考资料1.2.本文主要介绍下HDFS上的常见文件格式和压缩格式总结 :HDFS 中常见的文件存储格式HDFS中常见的文件压缩方式。

Hadoop系列之七：分布式文件系统HDFS(2)

weixin_33851429的博客

01-04

157

1、访问HDFS文件系统 HDFS是工作于用户空间的文件系统，它的树状文件系统是独立的，不能像传统上工作于内核空间的文件系统一样挂载至当前操作系统的目录树上对HDFS进行访问，传统上实现文件或目录管理的命令如ls、cat等此处也无法正常使用。对HDFS文件系统上的文件进行访问，需要通过HDFS的API或者由hadoop提供的命令行工具进行。 1.1 HDFS用户接口 (1) hado...

HDFS的文件存储格式以及HDFS异构存储和存储策略

wxk的博客

10-09

7722

HDFS常见的文件存储格式。冷数据、热数据、暖数据、冻数据的异构存储。 HDFS块存储类型的选择策略：HOT 、COLD、WARM、LAZY_PERSIST 以及相关操作的方法。

centos7_hadoop3.1.2_hdfs配置（完整版）.docx

07-05

CentOS 7 下 Hadoop 3.1.2 HDFS 配置详解本文档旨在详细介绍 CentOS 7 下 Hadoop 3.1.2 HDFS 的配置过程，包括安装 JDK、Hadoop、HDFS 的配置文件修改、HDFS 的单机版配置等。一、安装 JDK 在 CentOS 7 中安装 ...

Hadoop_HDFS开发参考

03-05

### Hadoop_HDFS开发参考详解 #### 一、Hadoop与HDFS概述 Hadoop是一个由Apache基金会开发的开源框架，旨在为数据处理提供高效、可靠且可扩展的基础架构。Hadoop主要包括两个核心组成部分：Hadoop分布式文件系统...

Hadoop调优手册(1)——HDFS核心参数

MartinGQ的博客

08-11

1925

以下配置均针对Hadoop3.x系列 1.NameNode、DataNode内存配置配置文件：hadoop-env.sh 由hadoop-env.sh文件中的描述可知：（1）守护进程将在 _OPT参数中选择 Xmx设置作为Hadoop内存大小。（2）Hadoop的内存默认是动态分配的：若在 _OPT参数中没有设置 Xmx，则JVM会根据服务器内存大小，自动为Hadoop分配内存。 # The maximum amount of heap to use (Java -Xmx). I..

HDFS中文件数据格式

奔跑的蜗牛AZ的博客

07-17

6987

Hadoop中的文件格式大致上分为面向行和面向列两类：面向行：同一行的数据存储在一起，即连续存储。SequenceFile,MapFile,Avro Datafile。采用这种方式，如果只需要访问行的一小部分数据，亦需要将整行读入内存，推迟序列化一定程度上可以缓解这个问题，但是从磁盘读取整行数据的开销却无法避免。面向行的存储适合于整行数据需要同时处理的情况。面向列：整个文件被切割为若干列数据，...

HDFS数据块分类

JacksonKing的专栏

01-08

333

toAdd：新添加的块 toRemove 待移除的块,收集那些没有被汇报上来的块,从blocksMap映射关系中移除掉 toInvalidate 无效块最根本的来源是blocksMap中不存在的块。----NameNode页面的PendingDeletionBlock块第一种是刚刚toRemove中的块信息，使得blocksMap移除了对应的块信息第二种是新汇报上来的...

HDFS写文件解析

海量数据存储与分析

11-17

6991

我们看一下创建文件，写文件最后关闭文件的流程。如下图： 1. client通过调用DistributedFileSystem的create方法来创建文件。 2. DistributedFileSystem通过RPC调用NameNode在文件系统的名字空间里创建一个文件，这个时候还没有任何block信息。DistributedFileSystem返回FSDataOu

电商数仓-(业务数据导入HDFS)

Knight

07-26

514

脚本编写 1.在/usr/local/bin目录下创建 vim mysql_to_hdfs.sh 添加如下内容： #! /bin/bash sqoop=/export/servers/sqoop/bin/sqoop do_date=`date -d '-1 day' +%F` if [[ -n "$2" ]]; then do_date=$2 fi import_data(){ $sqoop import \ --connect jdbc:mysql://hadoop12:3306/gmall \ --.

HDFS支持的文件格式（SequenceFile，Avro，RCFile，Parquet）(七)

May_J_Oldhu的博客

12-09

1849

支持的文件格式一.支持的文件格式一.支持的文件格式 SequenceFile 以二进制键值对的形式存储数据,支持三种记录存储方式。 ➢ 无压缩：io 效率较差，相比压缩，不压缩的情况下没有什么优势。 ➢ 记录级压缩：对每条记录都压缩，这种压缩效率比较一般。 ➢ 块级压缩：这里的块不同于 hdfs 中的块的概念.这种方式会将达到指定块大小的二进制数据压缩为一个块。 Avro 将数据定义和数据一起存储在一条消息中，其中数据定义以 JSON 格式存储，数据以二进制格式存储。Avro 标记用于将大型数据集分割

Hadoop生态圈（四）- HDFS数据存储与数据管理

程序园@大Null

01-13

5952

Hadoop常用文件存储格式，Hadoop支持的压缩算法，HDFS压缩如何抉择，压缩算法比较，HDFS存储类型和存储策略，冷热温三阶段数据存储，HDFS中的内存存储支持，HDFS存储策略命令，HDFS使用懒持久化存储策略，BigData File Viewer介绍、安装及功能，Hadoop丰富的存储格式，Text File，Sequence File，Avro File，RCFile，ORC File，Parquet File，ProtoBuf和Thrift，Arrow是如何提升数据移动性能的

hdfs文件存储格式

11-13

4749

hdfs 文件存储格式 hdfs 文件存储格式分为两大类行存储和列存储行存储,将一整行存储在一起,是一种连续的存储方式,例如SequenceFile,MapFile,缺点是如果只需要行中的某一列也必须把整行都读入内存当中列存储列存储会把文件切割成若干列,每一列存储在一起,是需要...

【云计算与大数据技术】文件存储格式行式、列式、GFS、HDFS的讲解（图文解释超详细）

showswoller的博客

12-13

2344

【云计算与大数据技术】文件存储格式行式、列式、GFS、HDFS的讲解（图文解释超详细）

Hadoop学习-5-HDFS文件存储格式

DMF363的博客

12-07

1096

HDFS文件存储格式

Java连接Hadoop HDFS配置详解

总结起来，Java访问HDFS的关键在于正确配置`core-site.xml`和`hdfs-site.xml`，以及在代码中创建和配置`Configuration`对象。了解并掌握这些配置，对于开发和维护Java应用程序与Hadoop的集成至关重要。