升降HDFS副本数量

最新推荐文章于 2023-12-12 14:53:43 发布
最新推荐文章于 2023-12-12 14:53:43 发布
阅读量3.7k 收藏 4
点赞数 1
分类专栏： CDH-hadoop 文章标签： hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/abyslll/article/details/88028560
版权

1 检查副本数量

例如检查hive中cs表的副本数量

hdfs fsck /user/hive/warehouse/cs

1.png

由上图可以看到副本数量为3

2 降副本数量

由于是目录，所以使用-R参数，可以递归。

hdfs dfs -setrep -R -w 2 /user/hive/warehouse/cs

hdfs fsck /user/hive/warehouse/cs

1.png
2.png

从上图可以看出副本数量已经降低为2

3 升副本数量

升副本数量是同样的操作

hdfs dfs -setrep -R -w 3 /user/hive/wareho
最低0.47元/天 解锁文章
HDFS 副本机制：副本数量、放置策略与自动恢复，全解析
zxt542508的博客
02-08 1298
HDFS的副本机制通过多副本存储和机架感知策略，提供了高可靠性和容错能力。副本机制通过在集群中存储多个数据副本，确保在节点故障时数据仍然可用。当某个数据块的副本数低于配置值时（例如节点故障导致副本丢失），HDFS会自动触发副本修复。HDFS通过机架感知策略，确保副本分布在不同的机架上，以防止机架故障导致的数据丢失。NameNode定期检查数据块的副本状态，并指示DataNode复制缺失的副本。副本机制会增加存储成本（例如3副本意味着存储空间需求是原始数据的3倍）。第一个副本节点将数据复制到第二个副本节点。
​Greenplum 分布式数据库内核揭秘(上篇)
Greenplum中文社区
05-28 1101
Greenplum 是最成熟的开源分布式分析型数据库（2019年8月发布的 Greenplum 6 之OLTP性能大幅提升，成为了一款真正的HTAP数据库，评测数据将于近期发布），Gartner 2019 最新评测显示 Greenplum 在经典数据分析领域位列全球第三，在实时数据分析领域位列并列第四。两个领域中前十名中唯一一款开源数据库产品。这意味着如果选择一款基于开源的产品，前十名中别无选择，唯此一款。Gartner 报告详情。 那么 Greenplum 分布式数据库是如何炼成？众所周知 Greenpl
HDFS减少副本数
iisbeginner的博客
12-12 388
最后我们发现缩小副本数后，某些数据节点的磁盘占用下降巨大。它检查文件系统的元数据，验证文件和目录的完整性，并报告它发现的任何不一致或错误。在HADOOP的hdfs-site.xml中找到dfs.replication项，修改为2，分发同步到集群各个节点后，重启HDFS。其中/dw是指定的路径,也就是你需要将那个路径三副本变为2副本，-R参数则表示包含子目录。2、但这样只能保证新写入的块副本数变为2，原有块仍然是3副本，因此还需要执行命令。考虑到成本问题我们选择了暂时性的解决的方案减小副本数。
hdfs副本缩减
qq_41018861的博客
05-04 1014
由于最近集群磁盘报警频繁，需要对磁盘进行扩容或者清理，但是扩容后阿里云磁盘资源不能缩容回落，成本上升。如果是减小副本数，我们目前阿里云集群是3个副本考虑成本和源数据（除了用户日志）在其他地方有全部数据等各方面原因我们降低了副本数。我们对日志数据的要求并没有特别严格。但是至少也需要两个副本。
HDFS针对某一目录降副本
Last_Stardust_的博客
11-02 262
集群中的数据在做跨集群传输（distcp指令）数据，数据在进入新集群中由于存储空间不够需要将该部分数据默认的3副本降为2副本。
linux查看hdfs副本数量,使用hdfs fsck检查副本数不足，怎么恢复
weixin_30476033的博客
05-15 998
今天将NO-HA转移到HA的时候出现了数据丢失，本来是全部丢失。后来将dfs备份的目录导入到了新生成的DN节点中dfs目录下了。找回来一部分，但是还有是39个文件丢失。还出现了一些文件副本数不足。我是将曾经的一个DN节点设置成了HA的NN2节点，新的NN2节点上的dfs数据肯定丢失了。丢失的DN节点中的文件副本不会自动同步到其他DN节点上吗？请问下各位大牛怎么解决部分副本数不足的情况。[mw_sh...
Hadoop 使用SHELL命令行查看副本数和块大小
Genebrother
06-10 2049
Hadoop 使用SHELL命令行查看副本数和块大小 输入命令hadoop fs 前提是hadoop 已经配置在环境变量的配置文件中 查看选项，发现有一个stat 命令选项 format 包含以下 %b：打印文件大小（目录为0） %n：打印文件名 %o：打印block size （我们要的值） %r：打印备份数 %y：打印UTC日期 yyyy-MM-dd HH:mm:ss %Y：打印自1970年1月1日以来的UTC微秒数 %F：目录打印directory, 文件打印regular file 如果你想知道
大数据-案例-离线数仓-电商：【MySQL(业务)-ETL(Kettle)】+【前端JS埋点-＞日志-＞Flume-＞HDFS-＞ETL(SparkRDD)】-＞Hive数仓-＞MySQL-＞可视化
u013250861的博客
01-30 2518
大数据-BI案例（二）-电商：数据仓库+OLAP【MySQL-ETL(Kettle)-＞ Hive（ODS层-数据清洗-＞DW层（DWD-统计分析-＞DWS））-导出结果-＞MySQL】-＞ 可视化
1+X 云计算平台运维与开发（初级）
weixin_57833188的博客
06-11 2748
角色：项目经理、产品经理、开发经理、测试经理 需要考虑应用：多租户安全隔离、不同等级业务隔离、防火墙策略、安全漏洞扫描、镜像安全、后台运维的 4A 纳管 审计日志；如果容器平台还对公网提供访问，那么还需要考虑访问链路加密、安全证书等 FTP使用者：本地用户（Real 用户）虚拟用户（Guest 用户）匿名用户（Anonymous 用户） 物理层标准包括：支持局域网的以太网标准 802.3、令牌总线标准 802.4、令牌环网标准 802.5、光缆标准 FDDI
HDFS修改副本数并生效
学亮编程手记
06-03 3012
1、hadoop集群使用的ucloud的uahdoop 2、是公司集群配置小，只有两台core节点，实际就是两台的datanode。 容量占用超过了80%，需要缩减副本以空出容量。 3、查看 hadoop fs -du -h /user/hive/warehouse/xxwarehouse.db/xx_datasourceraw/partitiondate=2019-10-31 可以看到，每个文件三个副本。 4、执行 hdfs dfs -setrep -R 2 / 　将所有的已经上传的副本从3个变成了两个
HDFS修改副本数与存储扩容
LittleMagic's Blog
02-04 1693
我们的HDFS集群中有11个DataNode，初始时每台机器仅上了一块2.4T大的SAS盘/dev/sda，数据分区1.8T。上线运行4个月，集群存储总使用量超过了70%，无法满足日益增长的存储需求，需要改进。 之前我们的HDFS一直采用默认的块副本数3。现在来看，有两个节点同时出现问题的概率非常小，可以降低为2，释放一些空间。 另外，加盘也是十分有必要的。HDFS自带冗余机制，所...
HDFS读取副本的选择策略
xhh198781的专栏
02-13 5750
HDFS对文件的存储是分块来存储的，即HDFS对于客户端写入的数据先按照固定大小对这些数据进行分块，然后把每一个数据块的多个副本存储在不同的DataNode节点上，同时不同的数据块也可能存储在不同的DataNode节点上。那么，当客户端要从HDFS上读取某个文件时，它又是如何处理的呢？很明显，客户端也是按照分块来读取文件的数据的，关于客户端如何分块读取文件的详细原理与过程我已经在前面的博文中详细的
HDFS增加副本减少副本
anguoan的博客
11-07 719
hdfs副本增减
hadoop副本数查看修改
weixin_38610500的博客
10-25 8097
hdfs的默认副本数量是3个，配置在/etc/hadoop/conf/hdfs-site.xml中 dfs.replication 3 我们也可以通过hdfs dfs -ls /path/to/file 命令查看hdfs上的文件： 文件类型会在第二列显示副本数量3，第五列显示文件大小，目录因为是由namenode维护的，所以没有副本数量，显示为- 如果想修改全局副本数量，只需要修改上面的hdfs-site.xml中的配置然后重启hdfs即可，修改完成后： 若hdfs中副本数
hive 参数设置大全
独木不成林，单弦不成音。
12-29 9913
合理设置参数，让集群飞起来~
Hive参数优化
feizuiku0116的博客
10-29 1194
此教程中关于Hive的优化，皆是基于Hive2.x的版本，对于Hive1.x旧版本的优化机制不再复述（新版本已改善或变更）。另外新版本中默认为开启状态的优化配置项，在工作中无需修改，也不再复述。 一、HDFS副本数 配置项：dfs.replication （ HDFS） 介绍：文件副本数，通常设为3，不推荐修改。 二、CPU配置 查看CPU线程数 grep 'processor' /proc/cpuinfo | sort -u | wc -l 配置项：yarn.nodemanager.re
Hadoop（33）：Hadoop调优之HDFS存储优化
bhegi_seg的博客
05-14 977
目录 0. 相关文章链接 1. 纠删码 1.1. 纠删码原理 1.2.?纠删码案例实操 2.?异构存储（冷热数据分离） 2.1. 什么是异构存储 2.2.?异构存储Shell操作 2.3.?测试环境准备 2.4.?HOT存储策略案例 2.5.?WARM存储策略测试 2.6. COLD策略测试 2.7.?ONE_SSD策略测试 2.8.?ALL_SSD策略测试 2.9.?LAZY_PERSIST策略测试 0. 相关文章链接 Hadoop & Hive 文章汇总 1. 纠删码 1.1. 纠删码原理
HDFS空间优化
Sin_Geek成长の迹
09-17 1312
1 HDFS存档/归档 存档是用来备份的时候标识用的，说白就是做个标记，表示这个文档在上次备份之后有没有被修改过，比如当月1号，你给全盘做了一次备份，那么所有的文档的存档属性都会被清除，表示备份过了。此后，如果你修改了某个文件，那么这个文件的存档属性就会被加上。当几天后，你再做“增量”备份时候，系统就会只备份那些具有“存档”属性的文件。 每个文件均按块方式存储，每个块的元数据存储在nameno...
hdfs块大小，小文件，副本数
weixin_43975538的博客
07-08 3513
1.块大小 hdfs默认的块大小为128M，可以在官网查看参数dfs.blocksize。 假如一个文件的大小为130M，往HDFS里面存储时，先将128M存储到第一个块里面，剩余的2M则会存储到第二个块里面，但第二个快的实际大小为2M。 2.小文件 小文件的存储，对HDFS是致命的，默认小文件的定义，各个公司是不同的，可以从自己公司的日常文件中，随机挑选1000个文件，以此来定义小文件的大小。 ...
HDFS的副本存放策略
最新发布
04-19
HDFS（Hadoop分布式文件系统）是一个用于存储和处理大规模数据的分布式文件系统。HDFS的副本存放策略是为了提高数据的可靠性和容错性。 HDFS的副本存放策略主要包括以下几个方面： 1. 副本数量：HDFS将文件划分为固定大小的数据块，并将每个数据块复制为多个副本。默认情况下，HDFS会将每个数据块复制为3个副本，可以通过配置文件进行调整。 2. 副本放置策略：HDFS采用了一种称为“机架感知”的副本放置策略。具体来说，HDFS会将每个数据块的副本放置在不同的机架上，以提高数据的容错性。例如，如果有3个副本，HDFS会将这些副本分别放置在不同的机架上的不同节点上。 3. 副本跨机架放置：为了进一步提高数据的可靠性，HDFS还支持将副本跨越多个机架进行放置。这样即使整个机架发生故障，数据仍然可以被恢复。 4. 副本调度：HDFS会根据集群的负载情况和数据块的使用频率来动态调整副本的位置。例如，如果某个节点的负载较高，HDFS会将该节点上的副本迁移到其他节点上，以平衡负载。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值