
hadoop
文章平均质量分 71
xln0130
这个作者很懒,什么都没留下…
展开
-
Hadoop之安装配置
对于Hadoop来说,在HDFS看来,节点分为Namenode 和Datanode,其中Namenode只有一个,Datanode可以是很多;在MapReduce看来,节点又分为Jobtracker和 Tasktracker,其中Jobtracker只有一个,Tasktracker可以是很多。在此,所有的节点我都部署在一台机器上的。1、 安装:解压缩文件包tar xfzv file.tgz2、 配置:进入conf目录,修改配置文件。1) hadoop-env.sh中的 JAVA_HOME【export JA转载 2010-06-29 10:30:00 · 945 阅读 · 1 评论 -
配置hadoop出现的问题
1、No route to host防火墙问题 关掉即可 service iptables stop如果出现不能识别iptables ,请用su -l root登陆上命令只会使用当次机器运行有效,机器重启会又会无效!2、跑mapreduce程序时,map很快就完成,但是reduce到16.66%的时候就卡住了,在50030/jobtracker.jsp可以看到报错: Too many fetch-failures 具体可以查看datanode logs里面对应的job的日志,发现报错java.io.File原创 2010-07-14 21:13:00 · 1416 阅读 · 0 评论 -
namenode启动失败
<br />应该先删除临时文件,再格式化namenode,再启动。<br /> <br />格式化之后可能导致datanode启动不了,参考上一篇文章<br />原创 2010-07-15 17:12:00 · 931 阅读 · 0 评论 -
hadoop 错误分析:Name node is in safe mode 安全模式
<br />运行hadoop程序时,有时候会报以下错误: <br />org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode <br />这个错误应该还满常见的吧(至少我运行的时候是这样的) <br /><br />那我们来分析下这个错误,从字面上来理解: <br />Name node is in safe mode <br /><br />说明Hadoop的N转载 2011-02-28 09:24:00 · 1448 阅读 · 1 评论