【转】几个Java的网络爬虫

几个java的网络爬虫,有兴趣的可以参考一下,也可以改成c#的。我用过其中j-spider,只爬取网页,不做解析。感兴趣的可以把这个下载下来,看看源代码。我最初的爬虫就是用j-spider扩展的,后来因为字符的编码问题,就放弃了改用c#。

页面:http://www.open-open.com/68.htm

heritrix点击次数:9563

heritrix是一个开源,可扩展的web爬虫项目。heritrix设计成严格按照robots.txt文件的排除指示和meta robots标签。

websphinx点击次数:7273

websphinx是一个java类包和web爬虫的交互式开发环境。web爬虫(也叫作机器人或蜘蛛)是可以自动浏览与处理web页面的程序。websphinx由两部分组成:爬虫工作平台和websphinx类包。

weblech点击次数:5880

weblech是一个功能强大的web站点下载与镜像工具。它支持按功能需求来下载web站点并能够尽可能模仿标准web浏览器的行为。weblech有一个功能控制台并采用多线程操作。

arale点击次数:5666

arale主要为个人使用而设计,而没有像其它爬虫一样是关注于页面索引。arale能够下载整个web站点或来自web站点的某些资源。arale还能够把动态页面映射成静态页面。

j-spider点击次数:6210

j-spider:是一个完全可配置和定制的web spider引擎.你可以利用它来检查网站的错误(内在的服务器错误等),网站内外部链接检查,分析网站的结构(可创建一个网站地图),下载整个web站点,你还可以写一个jspider插件来扩展你所需要的功能。

spindle点击次数:5715

spindle是一个构建在lucene工具包之上的web索引/搜索工具.它包括一个用于创建索引的http spider和一个用于搜索这些索引的搜索类。spindle项目提供了一组jsp标签库使得那些基于jsp的站点不需要开发任何java类就能够增加搜索功能。

arachnid点击次数:5487

arachnid:是一个基于java的web spider框架.它包含一个简单的html剖析器能够分析包含html内容的输入流.通过实现arachnid的子类就能够开发一个简单的web spiders并能够在web站上的每个页面被解析之后增加几行代码调用。 arachnid的下载包中包含两个spider应用程序例子用于演示如何使用该框架。

larm点击次数:6079

larm能够为jakarta lucene搜索引擎框架的用户提供一个纯java的搜索解决方案。它包含能够为文件,数据库表格建立索引的方法和为web站点建索引的爬虫。

jobo点击次数:5769

jobo是一个用于下载整个web站点的简单工具。它本质是一个web spider。与其它下载工具相比较它的主要优势是能够自动填充form(如:自动登录)和使用cookies来处理session。jobo还有灵活的下载规则(如:通过网页的url,大小,mime类型等)来限制下载。

snoics-reptile点击次数:5057

snoics-reptile是用纯java开发的,用来进行网站镜像抓取的工具,可以使用配制文件中提供的url入口,把这个网站所有的能用浏览器通过get的方式获取到的资源全部抓取到本地,包括网页和各种类型的文件,如:图片、flash、mp3、zip、rar、exe等文件。可以将整个网站完整地下传至硬盘内,并能保持原有的网站结构精确不变。只需要把抓取下来的网站放到web服务器(如:apache)中,就可以实现完整的网站镜像。

下载地址:

snoics-reptile2.0.part1.rar

snoics-reptile2.0.part2.rar

snoics-reptile2.0-doc.rar

web-harvest点击次数:5284

web-harvest是一个java开源web数据抽取工具。它能够收集指定的web页面并从这些页面中提取有用的数据。web-harvest主要是运用了像xslt,xquery,正则表达式等这些技术来实现对text/xml的操作

======================================================
在最后，我邀请大家参加新浪APP，就是新浪免费送大家的一个空间，支持PHP+MySql，免费二级域名，免费域名绑定 这个是我邀请的地址，您通过这个链接注册即为我的好友，并获赠云豆500个，价值5元哦！短网址是http://t.cn/SXOiLh我创建的小站每天访客已经达到2000+了，每天挂广告赚50+元哦，呵呵，饭钱不愁了，\(^o^)/