
nutch
mrwang
这个作者很懒,什么都没留下…
展开
-
centos nutch 安装
先安装svn yum install svn通过svn 构建构建源代码结构svn co https://svn.apache.org/repos/asf/nutch/tags/release-1.6/下载好后进入文件夹目录进行编译在这里 需要安装 ant 所以在下载的同时 可以再开一个窗口去下载ant++++++++++++++++++++++++++ 注意 +++++++++++++++++++原创 2014-02-10 15:52:54 · 747 阅读 · 0 评论 -
nutch的抓取流程 以及 手动实践
inject -> generate -> fetch -> parse -> updatedb第一个流程为把链接地址注入数据库 其对应的java 类为 org.apache.nutch.crawl.Injector实践 ./bin/nutch inject data3/crawldb urls/第二 生成segment。Nutch抓取程序需要抓取到很多的页面,那么具体是哪些页面的?当然,原创 2014-02-10 15:53:00 · 455 阅读 · 0 评论