fsimage开启压缩

最新推荐文章于 2024-11-04 22:10:28 发布
原创 最新推荐文章于 2024-11-04 22:10:28 发布 · 454 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

为解决大型HDFS集群中fsimage文件过大致使主备集群复制流量过大的问题，本文介绍如何通过编辑hdfs-site.xml文件启用fsimage压缩功能，并指定使用ZStandardCodec作为压缩算法。

当一个hdfs集群比较大的时候，fsimage过大，会导致主备集群之间的复制流量过大，需要开启压缩。

vim hdfs-site.xml

<property>
  <name>dfs.image.compress</name>
  <value>true</value>
</property>

<property>
  <name>dfs.image.compression.codec</name>
  <value>org.apache.hadoop.io.compress.ZStandardCodec</value>
</property>

【HDFS】FSImage加载过程之整体流程一览
LifeIsGood
05-27 218
【HDFS】FSImage加载过程之整体流程一览
HDFS镜像文件的解析与反解析
走在前往架构师的路上
03-22 7682
前言 HDFS作为一套成熟的分布式文件系统,其上可以存储上千万个文件,这些大大小小的文件存储着海量的数据.随着数据的变多,其中的安全性就显得非常的重要.但是在其中,有一类数据同样非常重要,那就是元数据,也就是所谓的描述数据的数据.为什么说他重要呢,举个例子,元数据就像一本书的目录信息,书中的具体内容就是真实的数据,如果有一天这本书的目录信息没了,那么你怎么迅速查阅里面的信息呢?可能你会想这本
Image Compression(DFS)
CHL的博客
08-10 358
Description  Strategies for compressing two-dimensional images are often based on finding regions with high similarity. In this problem, we explore a particular approach based on a hierarchical decom...
Hadoop文件系统-Hive
qq_34926965的博客
02-24 274
Hadoop文件系统-Hive HDFS简介 HDFS设计目的 兼容廉价硬件设备； 实现流数据读写； 支持大数据集； 支持简单的文件模型； 跨平台兼容性 HDFS自身局限性 不适合低延迟数据访问（实时性不高）； 无法高线存储大量小文件； 不支持多用户写入； 不支持任意修改文件（只允许追加） HDFS相关概念 HDFS核心概念：块 联系：为了在大量数据间分摊磁盘寻址的开销，但比普通文件系统...
Hadoop核心组件之HDFS
小黑
03-20 2706
Namenode和Datanode的关系Namenode 维护树状目录结构(NameSpace) 分配并记录每个文件由哪些块组成,以及每个块的信息(大小、时间戳等) 将HDFS的文件和目录元数据存储在一个叫fsimage的文件中, 每次保存fsimage之后到下次保存之间的所有hdfs操作,将会记 录在editlog文件中 被动接受DataNode的HeartBeat,记录Da
HDFS fsimage文件解析
iture的博客
01-01 979
指定hdfs 客户端内存 export HADOOP_CLIENT_OPTS=’-Xmx5000m -Xms5000m’ 解析fsimage文件，结果以逗号分隔 nohup hdfs oiv -t /data/tmp/fsimage -p Delimited -delimiter , -i fsimage_000000000xxx -o result_file & 30gb大的fsimage文件解析大概耗时2小时。 结果文件需要删除首行列名 sed -i ‘1d’ result_file
hdfs元数据文件(fsimage、edits)清理
10-07 1786
Standby namenode (sbn)的EditLogTailer的功能之一就是触发Active Namenode(nn) rollEditLog。每隔${dfs.ha.tail-edits.period}秒(默认60)秒，EditLogTailer检测一次当前时间距离上一次roll的时...
Hadoop FSImage分析器（HFSA）：深入解读与用法示例
- 示例中使用了RandomAccessFile类来打开FsImage文件，并将其载入内存。 - 使用FsImageLoader.Builder()构建了一个FsImage加载器，并通过调用parallel()方法使其具备多线程处理能力。 5. 技术标签含义： - ...
hadoop_hadoop-2.6.0-cdh5.7.0源码编译支持压缩以及伪分布式部署
whiteblacksheep的博客
07-09 662
1.需求与设计 1.1需求 直接使用的hadoop-2.6.0-cdh5.7.0.tar.gz包部署的hadoop集群不支持文件压缩，生产上是不可接受的，故需要将hadoop源码下载重新编译支持压缩 1.1概要设计 下载hadoop源码，使用maven编译，使其支持压缩。并成功进行伪分布式集群部署验证压缩功能。 |组件名称|组件版本 |百度网盘链接 2.环境需求以及部署规划 2.1 硬件环境 一...
CDH参数
magicchu的博客
10-21 572
HDFS hdfs block存储位置：dfs.datanode.data.dir fsimage存储位置：dfs.namenode.name.dir edits log存储位置：dfs.namenode.edits.dir DN每块磁盘不能被hdfs使用的空间：dfs.datanode.du.reserved 默认10GB，一般建议单盘空间25% bolck块大小：dfs.blocksize bolck副本数：dfs.replication Yarn 日志汇聚功能：yarn.log-aggregat
Hadoop参数汇总
01-04 2002
Hadoop参数汇总 @(hadoop)[配置] linux参数 以下参数最好优化一下： 文件描述符ulimit -n 用户最大进程 nproc （hbase需要 hbse book） 关闭swap分区 设置合理的预读取缓冲区 Linux的内核的IO调度器 JVM参数 JVM方面的优化项Hadoop Performance Tuning Guide Hadoop参数大全 适用
spark3使用hive zstd压缩格式总结
雾岛与鲸的博客
10-10 2772
ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式，本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC，RCFile，TextFile，JsonFile，Parquet，Squence，CSV。ZSTD压缩格式的表和其他普通压缩表的SQL操作没有区别，可支持正常的增删查及聚合类SQL操作。写出的文件使用zstd压缩，spark3才开始支持。
hadoop中使用到的压缩配置信息
LastYHM的博客
08-14 305
五种压缩格式 对应的编码器 DEFLATE : org.apache.hadoop.io.compress.DefaultCodec gzip : org.apache.hadoop.io.compress.GzipCodec bzip2 : org.apache.hadoop.io.compress.BZip2Codec LZO : com.hadoop.compression.lzo.LzopCodec Snappy : org.apache.hadoop.io.compress.SnappyCode
我眼中的hadoop（5-7）
liuhong的专栏
11-25 2210
术业有专攻 5.1.HDFS成也大文件 Hadoop主要处理的是大文件，从而HDFS设计的初衷也是存储大文件，及其计算过程中产生的中间文件，以满足mapreduce快速地读写文件的要求，当然前提是机房网络速度给力。为了满足需求，HDFS进行了如下设计： 1.流式写文件，对于上传任何一个文件，Client向一台DN写数据块，再由DN向其他DN写数据块，而不是一个客户端
Flink实战之FileSystem-parquet支持ZSTD压缩
weixin_41608066的博客
10-28 1865
==
尚硅谷MapReduce课程笔记Hadoop-MapReduce
m0_63924864的博客
11-04 1411
MapReduce是一种编程模型，专为处理和生成大规模数据集而设计。它通过两个主要阶段——Map（映射）和Reduce（归约）来实现高效的数据处理。在Map阶段，输入数据被分割成多个小块，每个小块独立地由不同的处理器处理，产生一系列中间结果。随后，在Reduce阶段，这些中间结果被汇总，进一步加工以生成最终输出。此模型的优势在于其出色的并行处理能力和容错性，使得大型数据集的处理既快速又可靠。Google首次提出MapReduce概念，并成功应用于搜索引擎索引等场景。如今，MapReduce已成为大数据处理领
[hadoop源码阅读][4]-org.apache.hadoop.io.compress系列1-认识解码器/编码器
weixin_33964094的博客
06-15 240
编码器和解码器用以执行压缩解压算法。在Hadoop里，编码/解码器是通过一个压缩解码器接口实现的。因此，例如，GzipCodec封装了gzip压缩的压缩和解压算法。下表列出了Hadoop可用的编码/解码器。    压缩格式  Hadoop压缩编码/解码器 DEFLATE org.apache.hadoop.io.compress.DefaultCodec gzip org.apache...
HDFS如何解决海量数据存储及解决方案详解
yqqの博客
03-08 2009
写入测试 打开方式 文件系统的分类 本地磁盘文件系统 光盘文件系统 网络文件系统 分布式文件系统 文件查询问题 HDFS的切片问题 概念 HDFS的元数据 HDFS的架构 语法 操作 回收站配置 HDFS的安全模式 介绍 操作命令 HDFS的读写流程 写入流程 查看日志文件内容 HDFS的JavaAPI操作（重点） 介绍 核心类 代码 HDFS的远程拷贝命令 集群内部拷贝 集群之间拷贝 HDFS的归
centos6 上用eclipse调试hadoop程序报org.apache.hadoop.io.compress.SnappyCodec not found错误解决方法...
weixin_30808693的博客
05-09 567
java.lang.IllegalArgumentException: Compression codecorg.apache.hadoop.io.compress.SnappyCodec not found.at org.apache.hadoop.io.compress.CompressionCodecFactory.getCodecClasses(CompressionCodecFactor...
fsimage
最新发布
08-01
### Hadoop fsimage 文件系统镜像的作用与处理方法 Hadoop 的 HDFS（Hadoop Distributed File System）通过 **fsimage** 文件来保存文件系统的元数据快照。这些元数据包括文件和目录的结构、权限、时间戳、块大小等...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值