WEB中调用Nutch执行JOB抓取

Eclipse中运行Nutch教程

最新推荐文章于 2025-09-09 23:41:54 发布

转载最新推荐文章于 2025-09-09 23:41:54 发布 · 79 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/kofxxf/p/3848168.html

文章标签：

#大数据 #java #开发工具

本文介绍如何在Eclipse中搭建Nutch爬虫环境，包括下载源码、编译及配置步骤，并解决常见错误，如Hadoop版本不匹配等问题。

参考：在Eclipse中运行Nutch

把nutch的源代码导入到eclipse工程自定义抓取任务。

下载源码：

http://svn.apache.org/repos/asf/nutch/

从svn下载想要的nutch源码，这里选择nutch-1.1

编译源码：

使用ant编译源代码，编译成功，可以看到多了一个build目录，其中有plugins目录及nutch-1.1.job文件

新建WEB工程

新建web工程org.apache.nutch.web，执行以下操作

1、把nutch源代码的src/java 目录复制到web工程的src目录

2、把nutch源代码的src/conf目录复制到web工程的src目录

3、把nutch源代码的src/lib目录复制到web工程的WEB-INF/lib目录

4、把编译的plugins目录复制到web工程的src目录

5、在web工程src新建目录job，把编译的nutch-1.1.job文件复制到src/job

6、在web工程src新建目录test，建立测试类，用这个类去调用crawl的main()

package org.apache.nutch;

import org.apache.nutch.crawl.Crawl;

public class Main {

    public static void main(String[] args) {
        String[] arg = { "/urls/url.txt", "-dir", "crawled", "-depth", "10", "-topN",
                "50" };
        try {
            Crawl.main(arg);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

}

Note：

1、 Nutch使用hadoop调度任务，使用前要编辑conf目录下的core-site.xml、hdfs-site.xml、mapred-site.xml等hadoop配置文件。

2、 Nutch-1.1中没有hbase的jar文件，需另下载并设置hbase的配置文件，这里用hbase-0.94.jar

FAQ：

这是一位网友收集的hadoop,hbase,zookeeper错误日志及部分解决办法，以备以后遇到问题作为参考之用。

1、 hadoop-0.20.2 & hbase-0.90.4集群启动错误问题解决：

问题如下：org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientProtocol version mismatch. (client = 43, server = 41)

        at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:364)
        at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:113)
        at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:215)
        at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:177)

是hadoop-0.20.2 & hbase-0.90.4版本问题造成的，讲hbase\lib引入的包替换为hadoop-0.20.2-core.jar即可

2、 org.apache.hadoop.security.AccessControlException: Permission denied: user=pc2000, access=WRITE