c++开源爬虫-Larbin简介

原文地址：http://leihuang.net/2014/06/16/Larbin-Introduction/

因为最近学校实训，做的是一个搜索相关的项目，并且是c++的一个项目，所以就想到了larbin，于是接下来几天就现研究研究其源码，再根据项目需求修改其源码。

不多说，直接进入今天的正题。今天的目的就是简单了解下larbin。

Larbin简介

larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人Sébastien Ailleret独立开发，用c++语言实现。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。 Larbin只是一个爬虫，也就是说larbin只抓取网页，至于如何parse的事情则由用户自己完成。另外，如何存储到数据库以及建立索引的事情 larbin也不提供。 　

latbin最初的设计也是依据设计简单但是高度可配置性的原则，因此我们可以看到，一个简单的larbin的爬虫可以每天获取500万的网页，实在是非常高效。 　利用larbin，我们可以轻易的获取/确定单个网站的所有联结，甚至可以镜像一个网站；也可以用它建立url 列表群，例如针对所有的网页进行 url retrive后，进行xml的联结的获取。或者是 mp3，或者定制larbin，可以作为搜索引擎的信息的来源。