
hadoop
文章平均质量分 74
自由盼盼
这个作者很懒,什么都没留下…
展开
-
记hadoop集群黑名单移除节点出现问题及解决
首先区分一下通过直接下线服务和通过黑名单来移除节点的区别,这两个动作都会涉及到block副本数不够而复制移动恢复的问题,但是通过黑名单的话可以同时移除多个节点,这个是两种情况的主要区别;步骤:1.移除nodemanager 在yarn-site.xml中加入以下配置 yarn.resourcemanager.nodes.exc原创 2017-05-25 16:12:06 · 1923 阅读 · 0 评论 -
hadoop涉及到分摊磁盘io负载的配置
配置datanode block存放目录的时候,机器多磁盘能分摊磁盘IO负载,以下配置 dfs.datanode.data.dir file:/data2/hadoop/hd_space/dfs/data,file:/data3/hadoop/hd_space/dfs/data.........原创 2017-05-27 18:28:40 · 1293 阅读 · 0 评论 -
hadoop2.4后的滚动升级
1.介绍 HDFS的滚动升级可以只升级独立的守护进程,比如可以独立升级datanode、namenode、journalnode,这些进程都可以不相互依赖来升级;hadoop2.x开始支持HDFS的HA,也正是HA,集群可以不停机来滚动升级,当然前提是先不要升级journalnode和zookeeper,下面描述一下非联邦HA升级的过程。2.滚动升级2.1备份 首先,先备份原创 2017-05-28 20:41:41 · 1501 阅读 · 0 评论