
Hadoop
文章平均质量分 62
array020
这个作者很懒,什么都没留下…
展开
-
【转】hadoop出现元数据不能更新且SNN合并失效
今天碰到这个问题,郁闷,具体原因未知。参考这个贴:http://blog.youkuaiyun.com/wf1982/article/details/7551100原创 2015-01-04 16:16:34 · 389 阅读 · 0 评论 -
【转 】Hadoop datanode添加与删除
出处:http://zzhblog.sinaapp.com/?p=82 一、 Hadoop节点热拔插在Hadoop集群中经常会进行增添节点操作,即实现节点的热拔插。在这些操作中不希望对集群进行重启。2.在集群中添加节点:a. 把新节点IP或者主机名字加入到主节点的slaves文件。 b. 登录到新节点,执行:123 cd ...原创 2012-07-09 16:58:30 · 156 阅读 · 0 评论 -
【转】修改hadoop的备份系数dfs.replication
出处:http://blog.youkuaiyun.com/awayyao/article/details/7616057 Hadoop中常常需要增加新的节点,或者变更备份系数。在完成这些操作后,往往出现数据未自动备份,或者数据节点不可用的情况。本文就讨论一下这个问题。 Hadoop的备份系数是指每个block在hadoop集群中有几份,系数越高,冗余性越好,占用存储也越多。备份系数在hdfs...原创 2012-07-09 15:45:25 · 290 阅读 · 0 评论 -
【转】Hadoop集群的NameNode的备份
原文链接:http://www.tech126.com/tag/secondary-namenode/ Hadoop集群中,NameNode节点存储着HDFS上所有文件和目录的元数据信息如果NameNode挂了,也就意味着整个Hadoop集群也就完了所以,NameNode节点的备份很重要,可以从以下2个方面来备份NameNode节点1. 在hdfs-site.x...原创 2012-07-08 00:02:40 · 145 阅读 · 0 评论 -
【转】Hadoop 操作备忘
原文链接:http://blog.falood.me/2012/01/hadoop.html DateNode 测试(添加、删除、灾难)测试前:master.hadoop: 248secondaryname.hadoop: 106slave104.hadoop: 104slave110.hadoop: 110slave250.hadoop: 25...原创 2012-07-08 00:01:41 · 135 阅读 · 0 评论 -
【转】配置secondary namenoded【有过教训了】
原文地址:http://heipark.iteye.com/blog/1074476 secondary namenoded 配置很容易被忽视,如果jps检查都正常,大家通常不会太关心,除非namenode发生问题的时候,才会想起还有个secondary namenode,它的配置共两步: 集群配置文件conf/master中添加secondarynameno...原创 2012-07-07 23:56:33 · 126 阅读 · 0 评论 -
【转】hadoop出现元数据不能更新且SNN合并失效
今天碰到这个问题,郁闷,具体原因未知。参考这个贴:http://blog.youkuaiyun.com/wf1982/article/details/7551100原创 2012-10-25 17:34:24 · 125 阅读 · 0 评论 -
【转】Hadoop集群的NameNode的备份
原文链接:http://www.tech126.com/tag/secondary-namenode/ Hadoop集群中,NameNode节点存储着HDFS上所有文件和目录的元数据信息如果NameNode挂了,也就意味着整个Hadoop集群也就完了所以,NameNode节点的备份很重要,可以从以下2个方面来备份NameNode节点1. 在hdfs-site.x原创 2015-01-04 16:15:09 · 3022 阅读 · 0 评论 -
【转 】Hadoop datanode添加与删除
出处:http://zzhblog.sinaapp.com/?p=82 一、 Hadoop节点热拔插在Hadoop集群中经常会进行增添节点操作,即实现节点的热拔插。在这些操作中不希望对集群进行重启。2.在集群中添加节点:a. 把新节点IP或者主机名字加入到主节点的slaves文件。 b. 登录到新节点,执行:123 cd原创 2015-01-04 16:15:33 · 4279 阅读 · 0 评论 -
【转】hbase导入工具Import介绍
博客地址:http://www.oratea.nethbase-0.94.0有效,HBase权威指南上的介绍过时。 通过Import可以将Export的文件重新导回表中。语法为:$ bin/hbase org.apache.hadoop.hbase.mapreduce.Import下面我们将上次导出的表sunwg01的文件导入到表sunwg03中导入命令为:原创 2015-01-04 16:15:15 · 694 阅读 · 0 评论 -
【转】hbase导出工具Export介绍
博客地址:http://www.oratea.nethbase-0.94.0有效,HBase权威指南上的介绍过时。 可以通过Export工具将hbase中的表的数据导到hhdfs上语法为:bin/hbase org.apache.hadoop.hbase.mapreduce.Export [ [ []]]下面拿表sunwg01做测试hbase or原创 2015-01-04 16:15:21 · 1367 阅读 · 0 评论 -
【转】Hadoop 操作备忘
原文链接:http://blog.falood.me/2012/01/hadoop.html DateNode 测试(添加、删除、灾难)测试前:master.hadoop: 248secondaryname.hadoop: 106slave104.hadoop: 104slave110.hadoop: 110slave250.hadoop: 25原创 2015-01-04 16:15:03 · 537 阅读 · 0 评论 -
【转】hadoop 添加删除datanode及tasktracker
出处不详: hadoop 添加删除datanode及tasktracker 首先:建议datanode和tasktracker分开写独立的exclude文件,由于一个节点即可以同时是datanode和tasktracker,也可以单独是datanode或tasktracker。1、删除datanode修改namenode上的hdfs-site.xmldfs.host原创 2015-01-04 16:15:39 · 592 阅读 · 0 评论 -
【转】修改hadoop的备份系数dfs.replication
出处:http://blog.youkuaiyun.com/awayyao/article/details/7616057 Hadoop中常常需要增加新的节点,或者变更备份系数。在完成这些操作后,往往出现数据未自动备份,或者数据节点不可用的情况。本文就讨论一下这个问题。 Hadoop的备份系数是指每个block在hadoop集群中有几份,系数越高,冗余性越好,占用存储也越多。备份系数在hdfs原创 2015-01-04 16:15:27 · 3496 阅读 · 0 评论 -
【转】配置secondary namenoded【有过教训了】
原文地址:http://heipark.iteye.com/blog/1074476 secondary namenoded 配置很容易被忽视,如果jps检查都正常,大家通常不会太关心,除非namenode发生问题的时候,才会想起还有个secondary namenode,它的配置共两步: 集群配置文件conf/master中添加secondarynameno原创 2015-01-04 16:14:57 · 801 阅读 · 0 评论 -
【转】hadoop 添加删除datanode及tasktracker
出处不详: hadoop 添加删除datanode及tasktracker 首先:建议datanode和tasktracker分开写独立的exclude文件,由于一个节点即可以同时是datanode和tasktracker,也可以单独是datanode或tasktracker。1、删除datanode修改namenode上的hdfs-site.xml<proper...原创 2012-07-09 17:11:13 · 110 阅读 · 0 评论