
Hadoop
我係外星人
我真的很懒,什么都没有留下啊~
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop调度器
hadoop调度器 概述 Hadoop中常见的调度器有三种,分别为: FIFO调度器、公平调度器Fair Scheduler、容量调度器Capacity Scheduler(计算能力调度器) 它的作用是将系统中空闲的资源按一定策略分配给作业。在Hadoop中,调度器是一个可插拔的模块,用户可以根据自己的实际应用要求设计调度器。 基本作用和调度器考虑因素 Hadoop调度器的基本作用就是根据节点资源...原创 2019-03-08 10:11:17 · 654 阅读 · 0 评论 -
HDFS为什么不适合存储小文件?
不能高效的对大量的小数据进行存储(大量的小文件会很快沾满nameNode的内存空间)大量的小文件,也会影响NameNode的寻址时间 1、小文件过多,会过多占用namenode的内存,并浪费block。 - 文件的元数据(包括文件被分成了哪些blocks,每个block存储在哪些服务器的哪个block块上),都是存储在namenode上的。 HDFS的每个文件、目录、数据块占用150B,因此300...原创 2019-03-26 21:05:00 · 6542 阅读 · 1 评论