datanode 内存及GC优化

最新推荐文章于 2024-08-25 03:51:54 发布
最新推荐文章于 2024-08-25 03:51:54 发布
阅读量4.1k 收藏 8
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 云计算和大数据 文章标签： hadoop GC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/duanbiren123/article/details/90299313
本文针对DataNode内存占用过高导致的Dead状态问题进行分析，由于GC开销过大引发java.lang.OutOfMemoryError。解决方案包括增大堆内存及优化GC设置，如设置-Xmx为总内存一半，使用CMS收集器并调整CMSInitiatingOccupancyFraction等参数，通过这些措施减少GC停顿，提升系统性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

事件描述：

datanode内存被占用过大，负载过高，查看 hdfs dfsadmin -report 发现状态为 Dead ，查看datanode日志文件hadoop-sphuser-datanode-XXX.log ，发现下面的错误。

 

2019-05-11 16:20:26,551 ERROR org.apache.hadoop.hdfs.server.datanode.DirectoryScanner: Error compiling report

java.util.concurrent.ExecutionException: java.lang.OutOfMemoryError: GC overhead limit exceeded

        at java.util.concurrent.FutureTask.report(FutureTask.java:122)

        at java.util.concurrent.FutureTask.get(FutureTask.java:192)

        at org.apache.hadoop.hdfs.server.datanode.DirectoryScanner.getDiskReport(DirectoryScanner.java:566)

        at org.apache.hadoop.hdfs.server.datanode.DirectoryScanner.scan(DirectoryScanner.java:425)

        at org.apache.hadoop.hdfs.server.datanode.DirectoryScanner.reconcile(DirectoryScanner.java:406)

        at org

最低0.47元/天 解锁文章

200万优质内容无限畅学
【性能优化】hprof文件是Java虚拟机生成的堆转储文件，用于分析内存使用情况、检测内存泄漏及优化性能。通过hprof文件，开发者能精准定位内存问题并优化性能。
本本本添哥
03-10 464
生成场景：OOM自动生成、手动触发、代码调用或工具导出。核心工具：MAT（深度分析）、VisualVM（快速查看）、Android Studio（移动端集成）。高级技巧：格式转换、自动化解析、大文件压缩处理。
HDFS DataNode高密度存储机型的探索尝试
走在前往架构师的路上
04-22 1319
前言 随着公司业务的发展，我们需要存储越来越庞大的数据来支撑公司业务的发展。这里就涉及到了数据存储能力的问题，需要存储的数据越多，其实意味着我们需要更多的机器来扩增HDFS集群存储的总capacity。但是机器数量的变多另外一方面带来的则是机器费用成本的巨大开销。我们如何在保证机器开销前提下，最大程度提升单机器的存储能力，这个就成为了一个集群维护人员需要思考和解决的问题。鉴于这个出发点，笔者最近在研究调研新一代具有更高存储能力的机型，这期间笔者做了大量的场景设置和性能测试来判断此机型是否能达到集群的要求。
HDFS DataNode堆内存使用率过高，HDFS存储量不够导致宕机
qq_35583154的博客
04-03 6090
今天来公司发现hadoop集群出现了HDFS DataNode堆内存使用率超过阈值的告警，然后查看集群各个节点的状态发现有一个数据节点宕机了，经过一上午的处理我来聊聊解决的几个方法： 目录： 1、将HDFS备份数降低 2、删除无用HDFS数据和Hbase表格 3、设置kafka的日志时间 4、删除本机无用文件 5、清理Trash回收站 6、Balancer重新平衡 1、将备份数降低 1）将默认的备...
DataNode内幕（一）：数据存储和它的小伙伴们
u013494310的专栏
02-15 1116
大家好，今天我们开始学习DataNode，一个相对于分布式客户端，较为复杂的一个hadoop集群的VIP会员 DataNode：数据节点，在分布式集群中和真正和数据打交道的一个对象，它的职责就是存储数据和读取数据，维护它所管理的数据 节点：简单的说，一个网络拓扑节点，在一个集群内，我们将一台计算机或者一台虚拟机称之为一个节点，同时一台机器（计算机和虚拟机的统称）可以属于多个集群，对于交叉集群部
hadoop配置 - Datanode GC优化一则
Mrknowledge
10-31 5122
故障描述： 前一阵发现Jobtracker服务器宕机，追查宕机前系统负载情况，发现很多线程被阻塞，大多上面一些cron job对hdfs目录请求响应时间较长导致的，进一步追查后发现有若干datanode被exclude掉，报错信息如下： datanode报错 ERROR1 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Datan
DataNode节点的数据存储器——DataStorage
xhh198781的专栏
01-01 4728
对于每一个DataNode节点而言，它都需要本地文件系统来存储与自己相关的数据。在前面的文章中我已经说过，任何节点都可以配置多个本地存储路径，每一个存储路径又被HDFS抽象成了一个StorageDirectory对象，但为了DataNode节点对自己存储路径的方便，HDFS又为每一个DataNode节点设计了一个DataStorage对象，DataNode节点可以利用这个对象对自己的所有存储路径进
Datanode概述
GeekIT的博客
07-22 906
1.Datanode默认size大小默认单位是字节 2.所有的block一般都不在一个Datanode上； 下图不是在Namenode节点而是在slave1上 3. .meta数据文件为校验文件 ， 4.不足数据块大小的文件不会占用整个块空间（block默认为64M）； 使用 stat 命令可以查看某个Linux具体目录下的系统数据块 5.block数据块在生产环境中一般
JVM之四大引用下模拟内存泄漏的GC日志分析
gtxy_2015的博客
09-01 1098
JVM之四大引用下模拟内存泄漏的GC日志分析
HDFS DataNode的挑战与优化：磁盘管理与数据块健康度监控的4大策略
[HDFS DataNode的挑战与优化：磁盘管理与数据块健康度监控的4大策略](https://media.geeksforgeeks.org/wp-content/cdn-uploads/20200728155931/Namenode-and-Datanode.png) # 1. HDFS DataNode概述 ## HDFS ...
Hadoop DataNode资源调配专家：内存与硬盘资源的优化艺术
[Hadoop DataNode资源调配专家：内存与硬盘资源的优化艺术](https://d3i71xaburhd42.cloudfront.net/1d24dbc46cf6c9b3f8bc6436d368be3a507ebbaf/7-Figure4-1.png) # 1. Hadoop DataNode资源概述 在分布式存储与计算...
大数据组件GC问题
weixin_40809627的博客
09-19 2872
GC，指Garbage Collection 是JAVA中的垃圾收集器。 相关组件的常见GC问题 1、Namenode的堆内存配置过小导致频繁产生full GC导致namenode宕机，在hadoop中，数据的写入&读取经由namenode，所以namenode的jvm内存需要足够多，尤其是在出现大量数据流动的场景中。建议nameNodejava -Xmx的值为4G 左右并随着文件数增加做...
【Hadoop】DataNode 详解
康师傅没有眼泪
08-28 6544
Datanode是HDFS文件系统的工作节点，它们根据客户端或者是namenode的调度进行存储和检索数据，并且定期向namenode发送它们所存储的块(block)的列表。
hadoop中datanode节点内存溢出
最新发布
weixin_40681593的博客
08-25 191
我整理的一些关于【HA】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/f2PFnNHadoop 中 Datanode 节点内存溢出问题分析与解决 Hadoop 是一个开源的软件框架，其目的是处理大规模数据。Hadoop 的核心组件包括 HDFS（Hadoop Distrib...
hadoop硬件配置 高可用 datanode namenode硬件配置
xcagy-国际性的文档记录中心
02-12 1701
每个分布式文件系统分块在NameNode的内存中大小约为250个字节， 此外还要加上文件和目录所需的250字节空间。 500字节 一个块 假设我们有5000个平均大小为20GB的文件并且使用默认的分布式文件系统分块大小（64MB）同时副本因子为3， 5000*20GB=102400 000M=97T 那么NameNode需要保存5千万个分块的信息，这些分块的大小加上文件系统的开销总共需要1.5...
NameNode内存生产配置
一个有趣、有料、有内涵的地方!
09-28 2182
Hadoop2.x 系列，配置 ...
【大数据Hadoop】HDFS3.3.1-Namenode-缓存管理
如切如磋，如琢如磨，臻于至善。
04-11 882
Hadoop 2.3.0 版本新增了集中式缓存管理功能，允许用户将一些文件和目录保存到HDFS缓存中。HDFS集中式缓存是由分布在Datanode上的堆外内存组成的，并且由Namenode 统一管理添加集中式缓存功能的 HDFS 集群具有以下显著的优势。阻止了频繁使用的数据从内存中清除。因为集中式缓存是由 Namenode 统一管理的，所以 HDFS 客户端可以根据数据块的缓存情况调度任务，从而提高了数据块的读性能。
DataNode进入Stale状态问题排查
06-22 1669
DataNode进入Stale状态问题排查
002-hadoop--hdfs常见参数配置原理
weixin_43697701的博客
10-25 1551
1、 GC调整 默认自动分配GC、 手动修改的话 hadoop-env.sh export HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx1024m" export HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS-Xmx1024m" 关于GC的修改参考 NamenodeGC配置参考 文件对象数量 参考值 10,000,000 “-Xms6G -Xmx6G -XX:NewS
深度优化Hadoop DataNode读写性能
李姓门徒
05-17 1563
​ 需要深入研究Hadoop集群的存储节点并做相应的优化，减少新机型带来的性能压力。NameNode的优化可以参考（深度优化Hadoop NameNode读写性能） ​
HDFS NameNode内存深度剖析与优化策略
文章指出，随着数据量的增长，NameNode的内存需求会持续增加，这可能导致堆空间阈值达到后带来一系列问题，如启动时间变长和垃圾收集（GC）风险的增加。因此，对NameNode内存使用情况进行精细化管理至关重要。为了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值