LittleMagic's Blog

前言我们知道，Hadoop YARN的基础架构由ResourceManager实例和NodeManager实例组成。用户提交到YARN集群的作业会抽象成ApplicationMaster和Container的形式，并由NodeManager持有和管理，如下图所示。问题来了：如果YARN集群整体重启，是不是就意味着所有作业都被强行停止，需要用户手动恢复呢？当然不是，通过适当的配置，...

答案放最前面将YARN配置中的yarn.scheduler.fair.assignmultiple参数设为false，或者手动设定yarn.scheduler.fair.max.assign参数的值为一个较小的正数（如3或4）。提出问题我们在有20个节点的专用集群上运行所有Flink流式作业。为与其他大数据集群保持一致，采用的框架版本为CDH 5.13.3自带的Hadoop ...

前言在之前的这篇文章中，笔者已经讲解过了YARN是如何实现内存资源隔离的。但是只隔离内存还不够，我们在生产环境中经常可以发现有计算密集型任务争用NodeManager的CPU，以及个别Container消耗太多CPU资源导致其他系统服务抖动的情况。好在Hadoop 2.2版本之后，YARN通过利用Linux系统的cgroup机制支持了CPU资源隔离。本文先简单看看cgroup，然...

前言实话实说，YARN之前并不是我特别擅长的领域，只是平时常用而已，但深入了解一番之后，发现还是蛮有意思的。YARN作为资源管理框架，资源调度和资源隔离就是它的两大基本任务，本文谈谈它如何实现内存资源的隔离。下图就是写本文的起因，上个月在Flink社区群里班门弄斧回答了一个小问题。好孩几要打码。蓝色方块是我嗯这也符合笔者在前面的一篇文章中提到过的：（Flin...

在设计海量数据的存储架构时，我们往往会面临成本和速率方面的抉择：普通HDD容量大且廉价，但读写速率较慢；SSD的读写比HDD要快数倍到十数倍，但是成本高，单位成本的容量小。所以，当数据量大到一定程度之后，几乎都要考虑冷热数据分离的存储架构，正式的称呼为异构存储（heterogeneous storage）。本文简要介绍HDFS的异构存储策略。从Hadoop 2.6.0（HDFS-2832）开始...

前言HDFS SecondaryNameNode是干什么的？这是道经典的基础面试题，笔者问过面试者很多次（当然也被面试官问过很多次）。从印象看，大约有一半的被面试者无法正确作答，给出的答案甚至有“不就是NameNode的热备嘛”。本文来简单聊聊相关的知识，为节省篇幅，将SecondaryNameNode简称SNN，NameNode简称NN。NN与fsimage、edit log文件NN...

在我们目前使用的Hadoop 2.x版本当中，HDFS在写入时有两种选择卷（磁盘）的策略，一是基于轮询的策略（RoundRobinVolumeChoosingPolicy），二是基于可用空间的策略（AvailableSpaceVolumeChoosingPolicy）。基于轮询的策略“轮询”是一个在操作系统理论中常见的概念，比如进程调度算法中的轮询算法。其思想就是从对象1遍历到...

我们的HDFS集群中有11个DataNode，初始时每台机器仅上了一块2.4T大的SAS盘/dev/sda，数据分区1.8T。上线运行4个月，集群存储总使用量超过了70%，无法满足日益增长的存储需求，需要改进。之前我们的HDFS一直采用默认的块副本数3。现在来看，有两个节点同时出现问题的概率非常小，可以降低为2，释放一些空间。另外，加盘也是十分有必要的。HDFS自带冗余机制，所...

前面某篇文章已经说过，HDFS容易发生数据不平衡的问题。这其中包括各个DataNode之间存储的数据量差异，以及一个DataNode内部各磁盘之间存储的数据量差异。HDFS专门提供了对应的机制来解决。节点间平衡：BalancerCDH在HDFS中提供了Balancer角色，使我们可以免于用命令行执行start-balancer.sh来手动配置。Cloudera Manager里...