Hadoop
关注
分享
扫一扫
Viking_bird
欢迎关注：大鹏的架构之路。每天进步一点点，专注Java与大数据技术分享。
展开
-
Hadoop NameNode、DataNode热迁移方案
面试：你懂什么是分布式系统吗？Redis分布式锁都不会？>>> 最近我们生产环境的Hadoop集群需要调整几台服务器，具体转换关系如下：datanode92.bi -> namenode02.binamenode01.bi（old) -> datanode19.binamenode02.bi -> datanode20.bi最终目标为：...原创 2019-03-12 21:15:00 · 1583 阅读 · 0 评论 -
ZooKeeper节点数据量限制引起的Hadoop YARN ResourceManager崩溃原因分析
面试：你懂什么是分布式系统吗？Redis分布式锁都不会？>>> 环境Hadoop版本：Apache Hadoop 2.6.3 ZooKeeper版本：ZooKeeper 3.4.10 两个ResourceManager节点：主节点RM01，从节点RM02背景最近有一次我们的Hadoop监控平台发出ResourceManager（以下简称RM）崩溃的报警信息，...原创 2019-03-18 09:37:00 · 2413 阅读 · 0 评论 -
Hadoop技术资料汇总（不断更新中）
面试：你懂什么是分布式系统吗？Redis分布式锁都不会？>>> 这些资料都是我在工作中学习、解决问题的资料汇总，我不能保证这里罗列的所有资料对看到的人有用，但大部分都经过我的实际验证。在不断学习和实践过程中，我会不断更新和总结这些资料，同时欢迎大家留言交流。感谢这些资料的作者。一、HDFS1、集群安装：Hadoop 2.6.0 HA高可用集群配置详解2...原创 2019-05-07 21:26:00 · 262 阅读 · 0 评论 -
ZooKeeper节点数据量限制引起的Hadoop YARN ResourceManager崩溃原因分析（二）
时隔五个月（点击阅读前文），如标题所示的问题再次发生，本次由于我们大数据监控系统的完善，让我对该问题进行了更深一步的研究。以下是整个排查过程和解决方案：一、问题说明从8月8日早上8点12收到第一条ResourceManager服务异常报警，截止到8月11日早上8点，每天早上8点到8点12之间频繁发生ResourceManager服务异常问题，晚上8点和下午1-3点偶尔出现该问题。以下是Spac...原创 2019-08-12 20:02:17 · 1649 阅读 · 0 评论 -
YARN任务监控界面Aggregate Resource Allocation指标解析
在YARN的原生任务监控界面中，我们经常能看到Aggregate Resource Allocation这个指标（图中高亮选中部分），这个指标表示的是任务每秒消耗的内存和CPU数量：Aggregate Resource Allocation是在org.apache.hadoop.yarn.server.resourcemanager.scheduler.SchedulerApplication...原创 2019-08-31 11:38:05 · 6697 阅读 · 0 评论 -
优化ORC和Parquet文件，提升大SQL读取性能
本文编译自IBM开发者社区，主要描述了HDFS中小的ORC和Parquet文件的问题，以及这些小文件如何影响Big SQL的读取性能，并探索了为了提高读取性能，使用现有工具将小文件压缩为大文件的可能解决方案。简介众所周知，多个Hadoop小文件（定义为明显小于HDFS块大小的文件，默认情况下为64MB）是Hadoop分布式文件系统（HDFS）中的一个大问题。HDFS旨在存储大量数据，理想情况下...翻译 2019-10-07 15:43:19 · 1598 阅读 · 0 评论