
hadoop
熊猫家族
敢想,敢拼,敢赢,IT技术,研发实践,互联网,资讯,编程语言,搜索引擎,Lucene,Solr,Java,生活,旅游,吃货,熊猫吃货,微生活,健康,美食
展开
-
HDFS 安全模式
safemode模式NameNode在启动的时候首先进入安全模式,如果datanode丢失的block达到一定的比例(1-dfs.safemode.threshold.pct),则系统会一直处于安全模式状态即只读状态。dfs.safemode.threshold.pct(缺省值0.999f)表示HDFS启动的时候,如果DataNode上报的block个数达到了元数据...原创 2011-01-10 15:33:57 · 135 阅读 · 0 评论 -
hadoop 动态添加节点datanode及tasktracker
个人技术博客:http://demi-panda.com 有的时候, datanode或者tasktracker crash,或者需要向集群中增加新的机器时又不能重启集群。下面方法也许对你有用。1.把新机器的增加到conf/slaves文件中(datanode或者tasktracker crash则可跳过)2.在新机器上进入hadoop安装目录 $bin/hado...原创 2011-01-10 19:08:30 · 118 阅读 · 0 评论 -
Hadoop使用常见问题以及解决方法
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer:程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。修改办法:修改2个文件。 /etc/security/limits.co...原创 2011-01-10 21:15:57 · 267 阅读 · 0 评论 -
hadoop管理NameNode AND SecondaryNameNode
光从字面上来理解,很容易让一些初学者先入为主的认为:SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是。snn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解它真正的用途,其实它真正的用途,是用来保存namenode中对HDFS metadata的信息的备份,并减少namenode重启的时间。对于hadoop进程中 ,要配置好并正确的使用...原创 2011-01-13 11:30:42 · 265 阅读 · 0 评论 -
如何手动启动Hadoop
如何手动启动Hadoop2009-11-20 11:06From地址为:http://hi.baidu.com/woodyzhou/blog/item/3cab4139cfa7072497ddd8c1.html Hadoop Cluster的启动可以说十分简单,最简单的一种方法就是运行$HADOOP_HOME/bin/start-all.sh,我也...原创 2011-01-18 10:58:01 · 1358 阅读 · 0 评论