巧用备份数节省hdfs空间

最新推荐文章于 2025-10-03 23:10:57 发布
原创 最新推荐文章于 2025-10-03 23:10:57 发布 · 1.9k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #Hadoop #HDFS #hdfs

本文探讨了在HDFS空间不足时如何处理不再经常使用的原始日志文件，通过将这类数据的备份数量从3个减少到2个，成功释放了一部分空间。分享了一个实用的命令hadoopfs-setrep2来实现这一操作，同时讨论了这种做法的思考过程和潜在影响。

我们最近遇到一个问题，hdfs硬盘空间不足。各位有没有遇到类似的问题呢？

仔细分析了一下，发现hdfs下有这样一类文件，留之无大用，弃之可惜。

比如说最原始的日志文件........

本来留下他是用来做保险的，但是不一定能用的上，并且占据很大空间。

想想这样的文件该怎么处理好呢？

于是乎 诞生了一个想法，把这一类的数据备份数改小，由3改为2，这样能剩下1份的空间。

用到了这个命令：hadoop fs -setrep 2 XXXX(文件名)

神器啊！！！

元芳，你觉得呢？

Hadoop数据备份与数据恢复策略
AI天才研究院
06-04 1649
Hadoop数据备份与数据恢复策略 1.背景介绍 随着大数据时代的到来,数据已经成为企业最宝贵的资源之一。无论是结构化数据还是非结构化数据,它们都可能包含着对企业至关重要的商业智能和洞察力。然而,由于数据量的快速增长和数据丢失的风险,有效的数据备份和恢复策略变得至关重要。 A
hadoop 四种压缩格式
Java海洋
09-22 9417
1 gzip压缩 优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带gzip命令，使用方便。 缺点：不支持split。 应用场景：当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用gzip压缩格式。譬如说一天或者一个小时的日志压缩成一个gzip 文件...
手动调整hdfs单个目录备份数
frank_jyp的博客
08-20 2077
sudo -u hive hdfs dfs -setrep -R -w 2 /user/hive/test.db   #手动改变hdfs备份数，此脚本改变/user/hive/test.db目录所有文件备份数为2
修改Hadoop集群的备份数
摩西莫西
02-25 751
之前dfs.replication值为3，运行一段时间之后我使用完了磁盘空间， 所以呢，现在我想通过降低备份的个数来释放空间。 那么对于之前存储的文件会自动把备份数改为1吗？ 还是需要手动执行命令来执行呢？ dfs.replication这个参数其实只在文件被写入dfs时起作用，虽然更改了配置文件，但是不会改变之前写入的文件的备份数。 但是可以通过如下命令更改备份数： bin/h...
HDFS空间优化
Sin_Geek成长の迹
09-17 1382
1 HDFS存档/归档 存档是用来备份的时候标识用的，说白就是做个标记，表示这个文档在上次备份之后有没有被修改过，比如当月1号，你给全盘做了一次备份，那么所有的文档的存档属性都会被清除，表示备份过了。此后，如果你修改了某个文件，那么这个文件的存档属性就会被加上。当几天后，你再做“增量”备份时候，系统就会只备份那些具有“存档”属性的文件。 每个文件均按块方式存储，每个块的元数据存储在nameno...
CDH5.14定期清理指南
辉哥大数据
01-03 1万+
目录：1、将HDFS备份数降低2、删除无用HDFS数据和Hbase表格3、设置kafka的日志时间4、删除本机无用文件5、清理Trash回收站6、Balancer重新平衡————————————————————————————————————————————————1、将备份数降低 1）将默认的备份数3设置为2。 步鄹：CDH–>HDFS–>配置–>复制因子–>设置为2 2）执行命令:
HDFS空间占用问题解决
热门推荐
雨钓的专栏
03-29 1万+
HDFS文件系统问题
HDFS Erasure Coding vs 副本：存储空间节省60%，配置与性能对比
最新发布
AI天才研究院
10-03 1062
多存几份，丢了也不怕。但当数据量从GB级增长到PB级，"存3份"就变成了沉重的负担：一个10PB的集群，用副本机制实际要存30PB数据，相当于多买20PB的硬盘！纠删码技术就像"数据拼图大师"，把1份数据拆成几块，再生成少量"拼图提示"，即使丢了几块，也能通过"提示"还原完整数据。为什么纠删码能节省60%空间？配置纠删码需要几步？性能损耗有多大，哪些场景适合用？本文将按"是什么→为什么→怎么做→选哪个核心概念：用"图书馆藏书"比喻解释副本和纠删码的本质；原理对比。
HDFS压缩节省空间：IO效率提升指南
[HDFS压缩节省空间：IO效率提升指南](https://codailama.github.io/images/WriteFile.png) # 摘要 随着大数据存储需求的不断增加，Hadoop分布式文件系统（HDFS）中的数据压缩技术变得尤为重要。本文首先探讨了HDFS...
HDFS快照功能与应用解析
06-29
快照不复制datanode中的数据块，而是保存块列表和文件大小，节省存储空间。 快照操作不影响常规HDFS操作，用户可直接访问当前数据，快照数据通过从当前状态减去后续修改来计算得出。 启用快照：必须先启用某个目录的...
HDFS快照详解：数据恢复与备份的高效工具
快照并非数据的完整副本，而是记录了文件系统状态的差异，节省存储空间。在HDFS中，启用、禁用快照以及管理快照主要通过一系列命令完成，如createSnapshot、deleteSnapshot和renameSnapshot等。" HDFS Snapshot快照...
hadoop进阶---hadoop性能优化(一)---hdfs空间不足的管理优化
直到世界的尽头
03-03 9815
Hadoop 空间不足，hive首先就会没法跑了，进度始终是0%。 将HDFS备份数降低 将默认的备份数3设置为2。 步骤：CDH–>HDFS–>配置–>搜索dfs.replication–>设置为2 删除无用HDFS数据和Hbase表格 主要使用命令hadoop fs -du，hadoop fs -ls，hadoop fs -rm 空间不足根本的解决...
如何在HDFS中进行数据压缩以实现高效存储？
萌兔兔MMQ！！
06-10 2080
在上一节，我们介绍了在HDFS中组织数据的规则和方法。本节作为《Hadoop从入门到精通》专题的第四章第二节，将主要介绍如何在HDFS中进行数据压缩，有哪些可选的数据压缩方法等内容。数据压缩是一种将数据简化为更紧凑形式的机制，以节省存储空间并提高数据传输效率。 4.2 通过数据压缩实现高效存储 数据压缩是文件处理的重要方面，在处理Hadoop支持的数据大小时，这一点变得更加重要。大部分企业在使用Hadoop时，目标都是尽可能高效得进行数据处理，选择合适的压缩编解码器将使作业运行更快，并允许在集群中存储更多数
HDFS文件的压缩
SunnyRivers
01-04 8248
前言 新搭建的集群，需要进行各种测试，于是让一个同事导入一些测试数据，大约1.4T左右。我进行了一个简单的hive测试 //故意增加shuffle SELECT DISTINCT(COUNT id) FROM test_table; 谁知道…就这么一个简单的SQL，半个小时过去后，仍然没有出结果 追查原因 原来同事从ftp拉取过来的数据是gzip格式的，他直接如到Hive表中…，而gzip格式的...
HDFS DataNode堆内存使用率过高，HDFS存储量不够导致宕机
qq_35583154的博客
04-03 6148
今天来公司发现hadoop集群出现了HDFS DataNode堆内存使用率超过阈值的告警，然后查看集群各个节点的状态发现有一个数据节点宕机了，经过一上午的处理我来聊聊解决的几个方法： 目录： 1、将HDFS备份数降低 2、删除无用HDFS数据和Hbase表格 3、设置kafka的日志时间 4、删除本机无用文件 5、清理Trash回收站 6、Balancer重新平衡 1、将备份数降低 1）将默认的备...
怎么做 HDFS 的原地平滑缩容？
张伯毅的专栏
11-03 6749
背景 目前有三个DataNode节点,需要缩容这三个DataNode节点上的磁盘. 即修改dfs.data.dir中指定的目录... 三种缩容方案 第一种缩容方法，如果 DataNode 的节点数目比较多，并且允许缩减存储空间的同时缩减 CPU 和内存资源，则可以缩掉若干个 DataNode 节点，直接使用 HDFS 提供的 decommission（附上社区版文档，CDH 文档，HDP 文档）。这是最常见的方法，缩减过程中涉及大量数据的跨节点迁移，会产生大量的内网流量可能影响线上负载，需要运维人员.
如果一个文件的大小超过了一张磁盘的大小，你该如何存储？
张俊杰 的博客
09-28 1813
转载 转自 极客时间 从零开始学大数据 李智慧 文章, 我学完了做了个笔记总结了一下 如果一个文件的大小超过了一张磁盘的大小，你该如何存储？ 单机时代，主要的解决方案是RAID；分布式时代，主要解决方案是分布式文件系统 无论是在单机时代还是分布式时代，大规模数据存储都需要解决几个核心问题 1.数据存储容量的问题。既然大数据要解决的是数以PB计的数据计算问题，而一般的服务器磁盘容量通常1～2TB，那么如何存储这么大规模的数据呢？ 2.数据读写速度的问题。一般磁盘的连续读写速度为几十MB，以这样的速度，几十PB
hadoop数据备份
weixin_30776545的博客
02-19 1730
1.如果是安装了hbase,在hbase里也可以备份(网上有)。下面介绍在hadoop下备份hdfs数据(我的也安装hbase) 不是cdh.找自己的配置文件也可以 2.进入这个目录下然后执行下面的命令 [root@aa-cdh-12 dn]#cd /mnt/disk1/dn [root@aa-cdh-12 dn]# tar -cvf /***/nn_backup_d...
第二章：Hadoop
一直在水些技术小文
04-28 935
目录 Hadoop概述 历史 作用 Hadoop的安装 Hadoop版本介绍 Hadoop 的安装有三种方式 Hadoop伪分布式安装 进入目录 上传安装包并解压 修改配置文件 启动 初始化 启动 停止 测试 HDFS详解 NameNode DataNode Block SecondaryNameNode HDFS优点 HDFS缺点 HDFS细节 NameNode、SecondaryNameNode如何工作？ Block备份如何放置？ HDFS基本Shell操作 MapReduce Yarn Hadoop
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值