Hadoop
文章平均质量分 62
array020
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【转】hadoop出现元数据不能更新且SNN合并失效
今天碰到这个问题,郁闷,具体原因未知。 参考这个贴:http://blog.youkuaiyun.com/wf1982/article/details/7551100原创 2015-01-04 16:16:34 · 409 阅读 · 0 评论 -
【转 】Hadoop datanode添加与删除
出处:http://zzhblog.sinaapp.com/?p=82 一、 Hadoop节点热拔插 在Hadoop集群中经常会进行增添节点操作,即实现节点的热拔插。在这些操作中不希望对集群进行重启。 2.在集群中添加节点: a. 把新节点IP或者主机名字加入到主节点的slaves文件。 b. 登录到新节点,执行: 1 2 3 cd ...原创 2012-07-09 16:58:30 · 189 阅读 · 0 评论 -
【转】修改hadoop的备份系数dfs.replication
出处:http://blog.youkuaiyun.com/awayyao/article/details/7616057 Hadoop中常常需要增加新的节点,或者变更备份系数。在完成这些操作后,往往出现数据未自动备份,或者数据节点不可用的情况。本文就讨论一下这个问题。 Hadoop的备份系数是指每个block在hadoop集群中有几份,系数越高,冗余性越好,占用存储也越多。备份系数在hdfs...原创 2012-07-09 15:45:25 · 327 阅读 · 0 评论 -
【转】Hadoop集群的NameNode的备份
原文链接:http://www.tech126.com/tag/secondary-namenode/ Hadoop集群中,NameNode节点存储着HDFS上所有文件和目录的元数据信息 如果NameNode挂了,也就意味着整个Hadoop集群也就完了 所以,NameNode节点的备份很重要,可以从以下2个方面来备份NameNode节点 1. 在hdfs-site.x...原创 2012-07-08 00:02:40 · 172 阅读 · 0 评论 -
【转】Hadoop 操作备忘
原文链接:http://blog.falood.me/2012/01/hadoop.html DateNode 测试(添加、删除、灾难) 测试前: master.hadoop: 248 secondaryname.hadoop: 106 slave104.hadoop: 104 slave110.hadoop: 110 slave250.hadoop: 25...原创 2012-07-08 00:01:41 · 160 阅读 · 0 评论 -
【转】配置secondary namenoded【有过教训了】
原文地址:http://heipark.iteye.com/blog/1074476 secondary namenoded 配置很容易被忽视,如果jps检查都正常,大家通常不会太关心,除非namenode发生问题的 时候,才会想起还有个secondary namenode,它的配置共两步: 集群配置文件conf/master中添加secondarynameno...原创 2012-07-07 23:56:33 · 154 阅读 · 0 评论 -
【转】hadoop出现元数据不能更新且SNN合并失效
今天碰到这个问题,郁闷,具体原因未知。 参考这个贴:http://blog.youkuaiyun.com/wf1982/article/details/7551100原创 2012-10-25 17:34:24 · 152 阅读 · 0 评论 -
【转】Hadoop集群的NameNode的备份
原文链接:http://www.tech126.com/tag/secondary-namenode/ Hadoop集群中,NameNode节点存储着HDFS上所有文件和目录的元数据信息 如果NameNode挂了,也就意味着整个Hadoop集群也就完了 所以,NameNode节点的备份很重要,可以从以下2个方面来备份NameNode节点 1. 在hdfs-site.x原创 2015-01-04 16:15:09 · 3068 阅读 · 0 评论 -
【转 】Hadoop datanode添加与删除
出处:http://zzhblog.sinaapp.com/?p=82 一、 Hadoop节点热拔插 在Hadoop集群中经常会进行增添节点操作,即实现节点的热拔插。在这些操作中不希望对集群进行重启。 2.在集群中添加节点: a. 把新节点IP或者主机名字加入到主节点的slaves文件。 b. 登录到新节点,执行: 1 2 3 cd原创 2015-01-04 16:15:33 · 4312 阅读 · 0 评论 -
【转】hbase导入工具Import介绍
博客地址:http://www.oratea.net hbase-0.94.0有效,HBase权威指南上的介绍过时。 通过Import可以将Export的文件重新导回表中。 语法为: $ bin/hbase org.apache.hadoop.hbase.mapreduce.Import 下面我们将上次导出的表sunwg01的文件导入到表sunwg03中 导入命令为:原创 2015-01-04 16:15:15 · 722 阅读 · 0 评论 -
【转】hbase导出工具Export介绍
博客地址:http://www.oratea.net hbase-0.94.0有效,HBase权威指南上的介绍过时。 可以通过Export工具将hbase中的表的数据导到hhdfs上 语法为: bin/hbase org.apache.hadoop.hbase.mapreduce.Export [ [ []]] 下面拿表sunwg01做测试 hbase or原创 2015-01-04 16:15:21 · 1398 阅读 · 0 评论 -
【转】Hadoop 操作备忘
原文链接:http://blog.falood.me/2012/01/hadoop.html DateNode 测试(添加、删除、灾难) 测试前: master.hadoop: 248 secondaryname.hadoop: 106 slave104.hadoop: 104 slave110.hadoop: 110 slave250.hadoop: 25原创 2015-01-04 16:15:03 · 565 阅读 · 0 评论 -
【转】hadoop 添加删除datanode及tasktracker
出处不详: hadoop 添加删除datanode及tasktracker 首先: 建议datanode和tasktracker分开写独立的exclude文件,由于一个节点即可以同时是datanode和tasktracker,也可以单独是datanode或tasktracker。 1、删除datanode 修改namenode上的hdfs-site.xml dfs.host原创 2015-01-04 16:15:39 · 619 阅读 · 0 评论 -
【转】修改hadoop的备份系数dfs.replication
出处:http://blog.youkuaiyun.com/awayyao/article/details/7616057 Hadoop中常常需要增加新的节点,或者变更备份系数。在完成这些操作后,往往出现数据未自动备份,或者数据节点不可用的情况。本文就讨论一下这个问题。 Hadoop的备份系数是指每个block在hadoop集群中有几份,系数越高,冗余性越好,占用存储也越多。备份系数在hdfs原创 2015-01-04 16:15:27 · 3523 阅读 · 0 评论 -
【转】配置secondary namenoded【有过教训了】
原文地址:http://heipark.iteye.com/blog/1074476 secondary namenoded 配置很容易被忽视,如果jps检查都正常,大家通常不会太关心,除非namenode发生问题的 时候,才会想起还有个secondary namenode,它的配置共两步: 集群配置文件conf/master中添加secondarynameno原创 2015-01-04 16:14:57 · 830 阅读 · 0 评论 -
【转】hadoop 添加删除datanode及tasktracker
出处不详: hadoop 添加删除datanode及tasktracker 首先: 建议datanode和tasktracker分开写独立的exclude文件,由于一个节点即可以同时是datanode和tasktracker,也可以单独是datanode或tasktracker。 1、删除datanode 修改namenode上的hdfs-site.xml <proper...原创 2012-07-09 17:11:13 · 132 阅读 · 0 评论
分享