wszsj的博客

queue队列（存放URL):先进先出简易网络爬虫所用到的类：queue.java--存放未抓取的URL信息LinkDB.java--存放已抓取和未抓取的URL信息FileDownloader.java--网页下载器ExtractLink.java--抽取网页当中所有URLLinkFilter.java--实现URL过

收索系统包括三大模块：数据采集模块、页面清洗模块、数据库模块Heritrix和Nutch，二者均为开源框架（网络爬虫技术框架），，Heritrix是SourceForge的开源产品，Nutch为Apache的一个子项目，它们都称作网络爬虫/蜘蛛（Web Crawler）,他们实现的原理基本一致，深度遍历网站的资源，将这些资源抓取到本地，使用方法都是分析网站的每一个有效的URI，并提

强大的网络爬虫框架--Heritrix：基于多线程的高效率的网络爬虫框架。第一部分：介绍Heritrix的基本使用（首先需要从Heritrix的官网上下载相应的项目）1.导入jar包 需要注意在项目根目录下添加lib文件夹，然后将相关联的jar包添加进去2.拷贝源代码 src-java con/org/st运行Heritrix所必需的核心代码，拷贝到项目MyHeritr

在理解URL之前，首先要理解URI的概念。什么是URI?Web上每种可用的资源，如：Html文档，图像，视频片段，程序等都有一个通用资源标识符（Universal Resource Identifier即URI）进行定位URI通常由三部分构成：1.访问资源的命名机制2.存放资源的主机名3.资源自身的名称，由路径表示。如下面的URI：http://www.webmonke

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的响应资源。Java语言是为网络而生的编程语言，它把网络资源看成是一种文件，它对网络资源的访问和对本地文件的访问一样方便。它把请求和响应封装为流。因此我们可以根据相应内容，获得响应流，之后从流中按