Briver Song的专栏

Ubuntu 8.04Q&A:ERROR:for d in utils interf fetch; do (cd $d; make dep-in); donemake[2]: Entering directory `/home/benbendy/larbin-2.6.3/src/utils solution:the command of makedepe

在运行larbin之前需要更改一下配置。主要该两个文件：larbin.conf和options.h一般在larbin.conf文件里改(对于larbin.conf的修改，在最后附录中还有详细的介绍)：StartUrl :http://www.hfut.edu.cn                //爬虫开始爬的起始网址limitToDomain: .edu .com .

1 In  larbin.conf, close to crawle external sites except  in the list of startURL by setting noExternalLinks.# do you want to follow external links,noExternalLinks2 The way to improve the craw

1 如何限定爬虫（网页采集器）的爬行范围：http://hi.baidu.com/hustwk/blog/item/0a29c2ea43cd86d7d539c9c0.html2 larbin的队列模型：http://cublog.cn/u/21158/showart_1106639.html3 从Larbin设计原理：http://hi.baidu.com/hustwk/blog/