分布式（hadoop）
关注
分享
扫一扫
文章平均质量分 51
Kaiwii
单调，简单
展开
-
Eclipse下伪分布式运行hadoop例子wordcount
其他版本测试均无效：本人使用一下配置，成功运行!eclipse版本：eclipse-jee-europa-winter-linux-gtk.tarHadoop版本：hadoop-0.20.2Linux版本：ubuntu 8 一、安装JDK-6，SSH(略，google一把就是了)原创 2011-07-28 10:18:46 · 3148 阅读 · 0 评论 -
源码：injectedScore()初读
Inject类下的InjectMapper中有一句： try { scfilters.injectedScore(value, datum); } catch (ScoringFilterException e) { i原创 2011-09-04 10:53:10 · 1512 阅读 · 0 评论 -
nutch下的CrawlDatum作用
CrawlDatum：The crawl state of a url 记录成功通过substitution和filter的url的所有信息（状态）原创 2011-09-03 11:15:35 · 1716 阅读 · 0 评论 -
dfs namenode format 导致 datenode不能连接上
PROBLEM hadoop@potr134pc26:/usr/local/hadoop/bin$ rm -r /usr/local/hadoop-datastore/ ----NOW THERE IS NO HADOOP-DATASTORE FOLDER LOCALL原创 2011-08-14 11:04:28 · 1713 阅读 · 0 评论 -
nutch-1.3 分布式terminal操作过程
kaiwii@master:~/nutch-1.2/bin$ ./hadoop namenode -format 11/08/13 19:52:20 INFO namenode.NameNode: STARTUP_MSG: /************************原创 2011-08-14 11:13:01 · 1327 阅读 · 0 评论 -
FutureTask.cancel(true)与interrupt()的效果一样
如题。 解释见我的另外一个问题博客（stackoverflow） http://stackoverflow.com/questions/7412491/whether-method-cancel-and-method-interrupt-do-the-duplicate-jo原创 2011-09-15 08:01:42 · 4134 阅读 · 1 评论 -
dfs的理解
也许 懂得有些迟了…… 本来以为只要用stop-all.sh的命令关掉dfs服务等之后，会造成dfs里面数据的丢失。 后来想想不会啊，对于本地模式而言，dfs对应的内容不是都保存在本地目录里面么！？ 所以，对于本地模式的配置，只要你没有format namenode的话，重原创 2011-08-18 08:06:13 · 1063 阅读 · 0 评论