
hadoop
天竹子
好好学习,天天向上
展开
-
hadoop 提交任务总是挂起状态
检查tasktracker 是否正常启动了,有可能中途挂掉了,重启就可以了。原创 2012-05-31 19:50:31 · 2582 阅读 · 0 评论 -
补丁
http://blog.youkuaiyun.com/happygongzhuo/article/details/6883069原创 2012-05-03 10:15:53 · 366 阅读 · 0 评论 -
hadoop打补丁
http://www.cnblogs.com/flying5/archive/2011/05/09/2078402.html原创 2012-05-03 10:16:16 · 919 阅读 · 0 评论 -
运行WordCount
今天在eclipse下运行了WorldCount。开始,直接new了一个project:MapReduce project。import 了hadoop源码中的examples.org.结果做导航栏没有DFS locations 字样,不明白。检查preference中hadoop的地址设置是正确的,又重新配置了一下,还是无用。不管它,接着配置run configurati原创 2011-11-09 23:12:58 · 760 阅读 · 0 评论 -
hadoop单机版搭建图文详解
原文链接: http://freewxy.iteye.com/blog/1027569该文写的比较整,收藏在这里,出错主要是打错了命令转载 2011-11-07 11:44:15 · 533 阅读 · 0 评论 -
hadoop safemode 问题
Hadoop 解除 "Name node is in safe mode" 运行hadoop程序时,有时候会报以下错误: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode这个错误应该还满常见的吧(至少我运行的时候是这样的)转载 2011-12-02 15:07:30 · 9462 阅读 · 0 评论 -
ubuntu 下安装ant
Ant是一个基于JAVA的自动化脚本引擎,脚本格式为XML。除了做JAVA编译相关任务外,ANT还可以通过插件实现很多应用的调用。打开终端,输入命令:sudo add-apt-repository ppa:eclipse-team/debian-packagesudo apt-get updatesudo apt-get install ant运行Ant非常简单转载 2011-11-07 20:34:46 · 2027 阅读 · 0 评论 -
Ubuntu 虚拟机集群 内网通, 网关拼不通,不能上外网
内网能够ping通,说明网线等硬件设备应该是连接好了:(1)检查你的IP,DNS,网关设置是否正确。 ifconfig route -n检查网关(2)清理并重设DNS客户解析器缓存的内容。可能是DNS服务器更新了此域名的IP,而与本地DNS缓存中存储的信息对应不上,从而造成域名解析有问题,清除DNS本地缓存即可, 方法为:原创 2012-05-08 11:13:01 · 3320 阅读 · 0 评论 -
hadoop datanode 连接namenode的问题
如果各项进程 都已经启动,检查namenode端口启动 netstat -anp | grep 9000如果9000端口启动在127开头的host之上,那么修改hosts文件,在本机IP地址之后添加主机名称,像127.0.1.1对应了主机名称的都应该删除掉, 127.0.1.1 ubuntu 是为了 hostname 反查,必须去除。如果不是该问题,再检查datanod原创 2012-05-31 13:50:08 · 2067 阅读 · 0 评论 -
hadoop配置文件问题
hadoop配置文件问题, 参考:http://blog.youkuaiyun.com/lin_fs/article/details/7349497转载 2012-11-23 09:09:57 · 489 阅读 · 0 评论 -
用 Eclipse 开发MapReduce程序的问题(1)
用 Eclipse 开发MapReduce程序时,问题有:1、有时候改动表现不出来 run configuration 不如用run on hadoop 2、在本地执行正确的程序,在集群上调试,就不正确了。 map函数中有打开Mapfile 文件,写完后就关闭,但在集群上就生成不了。 原因不详,但是把Mapfile文件打开和写函数以及关闭函数原创 2014-03-13 00:57:28 · 988 阅读 · 0 评论 -
hadoop-eclipse-0.20.203.0 的插件问题
参考:http://hi.baidu.com/wangyucao1989/blog/item/279cef87c4b37c34c75cc315.html如果重启后依然有问题,可以尝试eclipse -clean 清楚配置命令重新启动原创 2012-05-17 19:46:33 · 557 阅读 · 0 评论 -
ssh 安装
安装配置SSH (1)下载安装SSH:同样在命令行输入下面命令安装SSH sudo apt-get install ssh (2)配置无密码登录本机:在命令行输入下面两条命令 ssh-keygen -t dsa -P " -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys (3转载 2011-11-06 17:04:29 · 3718 阅读 · 0 评论 -
hadoop 安装ssh时用到的一些命令,查到的详细解释做个笔记
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa生成一个本主机的密钥对-t dsa DSA型密钥-P '' 空密语-f ~/.ssh/id_dsa 把生成的密钥输出到文件里,"~/"是代指用户主文件夹,.ssh是ssh在其下建立的隐藏文件夹,权限700其他用户不可访问必须的!生成的公钥则存在与这个文件对应的.pub文件中转载 2011-11-06 14:10:16 · 1230 阅读 · 0 评论 -
Eclipse 中调试Mapreduce程序
今天犯了一个比较蠢的错误,我将hadoop中原有的contrib中的jar包的源代码修改后,希望在伪分布式集群中运行,可以总是提示找不到我新添加的类,但是在本地模式下,运行正确,这是什么原因呢? 以为是eclipse没有反应过来,就重启了,还是不行。 难不成程序调用了以前的jar包,于是删除原有的 jar包,果真提示找不到jar包,原来我在classpath里一起引入了该j原创 2012-06-02 21:37:25 · 1974 阅读 · 0 评论 -
hadoop 开源文档
http://www.open-open.com/doc/search?q=Hadoop&ft=all&od=0&pn=3转载 2012-05-03 10:15:25 · 380 阅读 · 0 评论 -
使用hdfs小结
mapred.job.tracker.http.address:http://localhost:50030/jobtracker.jsplocalhost Hadoop Map/Reduce Administrationmapred.task.tracker.http.address:http://localhost:50060/tasktracker.jsptracker_原创 2012-05-03 10:13:44 · 856 阅读 · 0 评论 -
hadoop-eclipse-plugin 编译 打包
How to build and install the plug-inTo build the Eclipse plug-in, you need the Hadoop source files and a working Eclipse environment (version 3.3+). When compiling Hadoop, the Eclipse plug-in will转载 2012-01-14 11:37:58 · 1736 阅读 · 0 评论 -
hadoop 编译
hadoop 编译 参考 http://blog.youkuaiyun.com/basicthinker/article/details/6174442 参考: http://hi.baidu.com/xxjjyy2008/blog/item/7b5ed10f20e6a9346059f335.html参考:http://hadoop.hadoopor.com/thread-94原创 2012-01-14 11:23:50 · 1718 阅读 · 0 评论 -
hadoop基准测试---新手入门
http://www.michael-noll.com/blog/2011/04/09/benchmarking-and-stress-testing-an-hadoop-cluster-with-terasort-testdfsio-nnbench-mrbench/#what-we-not-want-to-do转载 2011-12-02 14:05:43 · 625 阅读 · 0 评论 -
启动hadoop集群
1.检查网络连接,我要从无线网换成有线网,所以要重新获得以前配置的IP地址,不然还得改配置文件。拼通以后,检查ssh能否登录,如果不能,关掉所有的防火墙,不只是windows防火墙,什么杀毒软件之类,统统关掉,一个不留。我因为只关了windows防火墙和linux 防火墙,杀毒软件的部分防火墙,结果弄的午饭都没吃,也没成功,那叫一个郁闷呢。边做编写,待续原创 2011-11-21 15:44:54 · 518 阅读 · 0 评论 -
单机伪分布式模式 运行MapReduce程序 配置问题
参考:http://stackoverflow.com/questions/8693723/remote-access-to-namenode-is-not-allowed-despite-the-services-are-already-starte?answertab=active#tab-top参考:http://galpha.iteye.com/blog/1044355单机伪分布模原创 2012-05-18 09:15:36 · 1604 阅读 · 0 评论 -
ubuntu 命令修改IP和网关
一、修改IP地址:sudo ifconfig -a|more先查看一下有哪些网卡,准备修改哪个网卡 sudo ifconfig eth0 192.168.4.101 netmask 255.255.255.0 修改完成后可以再用ifconfig -a | more命令来查看一下是否把eth0网卡的ip地址修改成功二、增加网关命令:sudo route add defaul转载 2012-05-07 19:05:01 · 1493 阅读 · 0 评论 -
Hadoop 0.23编译
转自:http://www.blogjava.net/shenh062326/archive/2011/11/10/yuling_hadoop_0-23_compile.html转载 2012-05-03 10:15:04 · 571 阅读 · 0 评论 -
Eclipse 调试Mapreduce程序 (2)
我的程序是修复受损文件,之前我总是故意将文件块移走,然后让程序修复,这种移动开始会触发异常,名字节点会一遍一遍地轮询节点查找被我移走的块,呵呵,多做几次,名字节点就聪明了,不再找了,直接让我的程序退出,不得已,只能重新上传文件,再偷偷移走数据块。很好的运行了几次之后,突然Eclipse报告找不到类,而查看bin下有该类。由于之前一直正常,我判定这是Eclipse的问题。于是重新编译了程序,原创 2014-03-13 01:00:05 · 898 阅读 · 0 评论