nutch 学习：Fetcher2,Hbase

最新推荐文章于 2018-08-16 09:55:34 发布

原创最新推荐文章于 2018-08-16 09:55:34 发布 · 120 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#HBase #OSGI #Hadoop #Mapreduce #Eclipse

search engine 专栏收录该内容

11 篇文章

订阅专栏

本文探讨了Nutch在Eclipse中的单步调试方法，介绍了从Fetcher1升级到Fetcher2的过程，即改进为每台主机一个抓取队列的方式，并讨论了将Nutch的数据存储从默认方式更改为HBase的可能性及挑战。

1.配置nutch 在eclipse 中可以单步跟踪

2. 修改 nutch, 从 Fetcher1 到 Fetcher2 , 每个host 一个队列的抓取方式 (同 levin)

3. 参看 nutch 把存储改为 Hbase 的文档

http://www.nabble.com/-jira--Created:-(NUTCH-650)-Hbase-Integration-td19551301.html

4. 基本阅读了主要的 nutch 类： Injector, Generator, Fetcher, ParseSegment, CrawlDb

参考：

1. nutch 的几个效率低下的原因思考

a. 不方便部分选取，比如： mapreduce 在 dedup url 的时候，需要map 所有的 record from file，然后 reduce

b. 不用 Hbase 的时候，数据拷贝，复制，太多

我的问题：
1. 对于习惯了Dip 的编程来说，这些代码有点乱,没有心情添加代码
2. 能否用Osgi 取代nutch 现有的plug-in,重新发明轮子
3. 能否用Jmx 做管理

说白了，我不喜欢hadoop,的代码。侵入式设计，层次不清楚。