大数据
langchain&langengine
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
(转)HDFS NameNode内存全景
转载自:http://tech.meituan.com/namenode.html小桥 ·2016-08-26 11:20一、概述从整个HDFS系统架构上看,NameNode是其中最重要、最复杂也是最容易出现问题的地方,而且一旦NameNode出现故障,整个Hadoop集群就将处于不可服务的状态,同时随着数据规模和集群规模地持续增长,很多小量级时被隐藏的问题逐渐暴露出来。所以,...原创 2017-06-27 09:54:55 · 153 阅读 · 0 评论 -
(转)HDFS NameNode内存详解
转载自:http://tech.meituan.com/namenode-memory-detail.html小桥 ·2016-12-09 17:56前言《HDFS NameNode内存全景》中,我们从NameNode内部数据结构的视角,对它的内存全景及几个关键数据结构进行了简单解读,并结合实际场景介绍了NameNode可能遇到的问题,还有业界进行横向扩展方面的多种可借鉴解决方案...原创 2017-06-27 09:59:18 · 170 阅读 · 0 评论 -
(转)HDFS里Datanode上block大小的设置问题
转载自:http://blog.youkuaiyun.com/pear_zi/article/details/8082752在HDFS里面,data node上的块大小默认是64MB(或者是128MB或256MB) 问题: 为什么64MB(或128MB或256MB)是最优选择?1.为什么不能远少于64MB(或128MB或256MB) (普通文件系统的数据块大小一般为4KB)a.减少硬盘...原创 2017-06-28 15:15:31 · 537 阅读 · 0 评论
分享