为Heritrix定制自己的QueueAssignmentPolicy

最新推荐文章于 2017-10-06 19:43:20 发布

转载最新推荐文章于 2017-10-06 19:43:20 发布 · 69 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/ruanjun/blog/1488954

本文介绍如何自定义Heritrix的队列分配策略，以提高网页抓取效率。通过实现ELFHashQueueAssignmentPolicy策略，可以有效避免单一队列过长的问题，并提供配置步骤。

Heritrix使用了Berkeley DB来构建链接队列。这些队列被置放于BdbMultipleWorkQueues中时，总是先给予一个Key，然后将那些Key值相同的链接放在一起，成为一个队列，也就是一个Queue。在Heritrix中，为每个队列赋上Key值的策略，也就是它的queue-assignment-policy。

Heritrix默认使用的queue-assignment-policy是HostnameQueueAssignmentPolicy，一个继承于QueueAssignmentPolicy抽象类的队列分配策略。顾名思义，它是以链接的Host名称为Key值来解决这个问题的。换句话也就是说，相同Host名称的所有URL都会被置放于同一个队列中间。

HostnameQueueAssignmentPolicy有一个问题，就是它对于某个单独网站的网页抓取，会造成有一个队列的长度非常长，而其它队列则几乎都处于空闲的情况，这使得在多线程抓取的情况下，效率得不到提高。

为了解决这个问题，我们可以定制自己的QueueAssignmentPolicy。下面以ELFHash的哈希散列算法定制一个名为ELFHashQueueAssignmentPolicy的队列分配策略，它也是继承于QueueAssignmentPolicy的。

package my;

import org.archive.crawler.datamodel.CandidateURI;
import org.archive.crawler.framework.CrawlController;
import org.archive.crawler.frontier.QueueAssignmentPolicy;

public class ELFHashQueueAssignmentPolicy extends QueueAssignmentPolicy {

    @Override
    public String getClassKey(CrawlController controller, CandidateURI cauri) {
        return this.ELFHash(cauri.getUURI().toString(), 50) + "";
    }

    public int ELFHash(String str, int number) {
        int hash = 0;
        long x = 0l;
        char[] array = str.toCharArray();
        for (int i = 0; i < array.length; i++) {
            hash = (hash << 4) + array[i];
            if ((x = (hash & 0xF0000000L)) != 0) {
                hash ^= (x >> 24);
                hash &= ~x;
            }
        }
        int result = (hash & 0x7FFFFFFF) % number;
        return result;
    }
}

接下来就是配置问题了。

第一步：到org.archive.crawler.frontier.AbstractFrontier这个类下找到public AbstractFrontier(String name, String description)这个方法，在里面找到：

String queueStr = System.getProperty(AbstractFrontier.class.getName() +
                "." + ATTR_QUEUE_ASSIGNMENT_POLICY,
                HostnameQueueAssignmentPolicy.class.getName() + " " +
                IPQueueAssignmentPolicy.class.getName() + " " +
                BucketQueueAssignmentPolicy.class.getName() + " " +
                SurtAuthorityQueueAssignmentPolicy.class.getName() + " " +
                TopmostAssignedSurtQueueAssignmentPolicy.class.getName());

将我们自己写的ELFHashQueueAssignmentPolicy类添加进去，即变成：

String queueStr = System.getProperty(AbstractFrontier.class.getName() +
                "." + ATTR_QUEUE_ASSIGNMENT_POLICY,
                ELFHashQueueAssignmentPolicy.class.getName() + " " +
                //HostnameQueueAssignmentPolicy.class.getName() + " " +
                IPQueueAssignmentPolicy.class.getName() + " " +
                BucketQueueAssignmentPolicy.class.getName() + " " +
                SurtAuthorityQueueAssignmentPolicy.class.getName() + " " +
                TopmostAssignedSurtQueueAssignmentPolicy.class.getName());

第二步：到org.archive.crawler.frontier.AdaptiveRevisitFrontier下找到

protected final static String DEFAULT_QUEUE_ASSIGNMENT_POLICY = HostnameQueueAssignmentPolicy.class.getName();

将其改为：

protected final static String DEFAULT_QUEUE_ASSIGNMENT_POLICY = ELFHashQueueAssignmentPolicy.class.getName();

然后继续往后找到public AdaptiveRevisitFrontier(String name, String description) 方法，对其中的一段：

String queueStr = System.getProperty(AbstractFrontier.class.getName() +
                    "." + ATTR_QUEUE_ASSIGNMENT_POLICY,
                    HostnameQueueAssignmentPolicy.class.getName() + " " +
                    IPQueueAssignmentPolicy.class.getName() + " " +
                    BucketQueueAssignmentPolicy.class.getName() + " " +
                    SurtAuthorityQueueAssignmentPolicy.class.getName() + " " +
                    TopmostAssignedSurtQueueAssignmentPolicy.class.getName());

修改为：

String queueStr = System.getProperty(AbstractFrontier.class.getName() +
                    "." + ATTR_QUEUE_ASSIGNMENT_POLICY,
                    ELFHashQueueAssignmentPolicy.class.getName() + " " +
                    //HostnameQueueAssignmentPolicy.class.getName() + " " +
                    IPQueueAssignmentPolicy.class.getName() + " " +
                    BucketQueueAssignmentPolicy.class.getName() + " " +
                    SurtAuthorityQueueAssignmentPolicy.class.getName() + " " +
                    TopmostAssignedSurtQueueAssignmentPolicy.class.getName());

第三步：

到heritrix.properties文件下找到

org.archive.crawler.frontier.AbstractFrontier.queue-assignment-policy = \
    org.archive.crawler.frontier.HostnameQueueAssignmentPolicy \
    org.archive.crawler.frontier.IPQueueAssignmentPolicy \
    org.archive.crawler.frontier.BucketQueueAssignmentPolicy \
    org.archive.crawler.frontier.SurtAuthorityQueueAssignmentPolicy \
    org.archive.crawler.frontier.TopmostAssignedSurtQueueAssignmentPolicy

将我们的ELFHashQueueAssignmentPolicy类添加进去，即变成这样：

org.archive.crawler.frontier.AbstractFrontier.queue-assignment-policy = \
    my.ELFHashQueueAssignmentPolicy \
    org.archive.crawler.frontier.IPQueueAssignmentPolicy \
    org.archive.crawler.frontier.BucketQueueAssignmentPolicy \
    org.archive.crawler.frontier.SurtAuthorityQueueAssignmentPolicy \
    org.archive.crawler.frontier.TopmostAssignedSurtQueueAssignmentPolicy

这样，当我们使用Heritrix抓取网页的时候，Heritrix就变成默认使用ELFHashQueueAssignmentPolicy来分配连接队列了。经过验证，爬取的效率的确能得到了很大的提高。

最后，不得不提的是，通过以上修改，有时还是会出问题，表现在是整个Job已经完成了，但只爬到几KB的样子，而mirror目录根本没有生成出来。上网搜了一下，有网游这样建议：

－－－－－－－－－－－－－－－－－－－－引用部分－－－－－－－－－－－－－－－－－－－－－－－－－
(1) 配置下在Setting里的frontier项中的max retries，改成100(有可能是入口过少)
(2) 将url地址改成ip地址(看过log，有时候会有很多404error，那我直接换成ip地址试下，果然好使，哈哈)

－－－－－－－－－－－－－－－－－－－－引用部分－－－－－－－－－－－－－－－－－－－－－－－－

希望哪位大虾知道原因能告诉我一声，呵呵。。。

原文地址： http://blog.youkuaiyun.com/waltertan1988/article/details/45290753

转载于:https://my.oschina.net/ruanjun/blog/1488954