Java网络爬虫的实现

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成，其基本架构如下图所示：

传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。对于垂直搜索来说，聚焦爬虫，即有针对性地爬取特定主题网页的爬虫，更为适合。

本文爬虫程序的核心代码如下：

Java代码

1. publicvoidcrawl()throwsThrowable{
2. while(continueCrawling()){
3. CrawlerUrlurl=getNextUrl();//获取待爬取队列中的下一个URL
4. if(url!=null){
5. printCrawlInfo();
6. Stringcontent=getContent(url);//获取URL的文本信息
8. //聚焦爬虫只爬取与主题内容相关的网页，这里采用正则匹配简单处理
9. if(isContentRelevant(content,this.regexpSearchPattern)){
10. saveContent(url,content);//保存网页至本地
12. //获取网页内容中的链接，并放入待爬取队列中
13. CollectionurlStrings=extractUrls(content,url);
14. addUrlsToUrlQueue(url,urlStrings);
15. }else{
16. System.out.println(url+"isnotrelevantignoring...");
17. }
19. //延时防止被对方屏蔽
20. Thread.sleep(this.delayBetweenUrls);
21. }
22. }
23. closeOutputStream();
24. }

整个函数由getNextUrl、getContent、isContentRelevant、extractUrls、addUrlsToUrlQueue等几个核心方法组成，下面将一一介绍。先看getNextUrl：

Java代码

1. privateCrawlerUrlgetNextUrl()throwsThrowable{
2. CrawlerUrlnextUrl=null;
3. while((nextUrl==null)&&(!urlQueue.isEmpty())){
4. CrawlerUrlcrawlerUrl=this.urlQueue.remove();
6. //doWeHavePermissionToVisit：是否有权限访问该URL，友好的爬虫会根据网站提供的"Robot.txt"中配置的规则进行爬取
7. //isUrlAlreadyVisited：URL是否访问过，大型的搜索引擎往往采用BloomFilter进行排重，这里简单使用HashMap
8. //isDepthAcceptable：是否达到指定的深度上限。爬虫一般采取广度优先的方式。一些网站会构建爬虫陷阱（自动生成一些无效链接使爬虫陷入死循环），采用深度限制加以避免
9. if(doWeHavePermissionToVisit(crawlerUrl)
10. &&(!isUrlAlreadyVisited(crawlerUrl))
11. &&isDepthAcceptable(crawlerUrl)){
12. nextUrl=crawlerUrl;
13. //System.out.println("Nexturltobevisitedis"+nextUrl);
14. }
15. }
16. returnnextUrl;
17. }

更多的关于robot.txt的具体写法，可参考以下这篇文章：

http://www.bloghuman.com/post/67/

getContent内部使用apache的httpclient 4.1获取网页内容，具体代码如下：

Java代码

1. privateStringgetContent(CrawlerUrlurl)throwsThrowable{
2. //HttpClient4.1的调用与之前的方式不同
3. HttpClientclient=newDefaultHttpClient();
4. HttpGethttpGet=newHttpGet(url.getUrlString());
5. StringBufferstrBuf=newStringBuffer();
6. HttpResponseresponse=client.execute(httpGet);
7. if(HttpStatus.SC_OK==response.getStatusLine().getStatusCode()){
8. HttpEntityentity=response.getEntity();
9. if(entity!=null){
10. BufferedReaderreader=newBufferedReader(
11. newInputStreamReader(entity.getContent(),"UTF-8"));
12. Stringline=null;
13. if(entity.getContentLength()>0){
14. strBuf=newStringBuffer((int)entity.getContentLength());
15. while((line=reader.readLine())!=null){
16. strBuf.append(line);
17. }
18. }
19. }
20. if(entity!=null){
21. entity.consumeContent();
22. }
23. }
24. //将url标记为已访问
25. markUrlAsVisited(url);
26. returnstrBuf.toString();
27. }

对于垂直型应用来说，数据的准确性往往更为重要。聚焦型爬虫的主要特点是，只收集和主题相关的数据，这就是isContentRelevant方法的作用。这里或许要使用分类预测技术，为简单起见，采用正则匹配来代替。其主要代码如下：

Java代码

1. publicstaticbooleanisContentRelevant(Stringcontent,
2. PatternregexpPattern){
3. booleanretValue=false;
4. if(content!=null){
5. //是否符合正则表达式的条件
6. Matcherm=regexpPattern.matcher(content.toLowerCase());
7. retValue=m.find();
8. }
9. returnretValue;
10. }

extractUrls的主要作用，是从网页中获取更多的URL，包括内部链接和外部链接，代码如下：

Java代码

1. publicListextractUrls(Stringtext,CrawlerUrlcrawlerUrl){
2. MapurlMap=newHashMap();
3. extractHttpUrls(urlMap,text);
4. extractRelativeUrls(urlMap,text,crawlerUrl);
5. returnnewArrayList(urlMap.keySet());
6. }
8. //处理外部链接
9. privatevoidextractHttpUrls(MapurlMap,Stringtext){
10. Matcherm=httpRegexp.matcher(text);
11. while(m.find()){
12. Stringurl=m.group();
13. String[]terms=url.split("ahref=\"");
14. for(Stringterm:terms){
15. //System.out.println("Term="+term);
16. if(term.startsWith("http")){
17. intindex=term.indexOf("\"");
18. if(index>0){
19. term=term.substring(0,index);
20. }
21. urlMap.put(term,term);
22. System.out.println("Hyperlink:"+term);
23. }
24. }
25. }
26. }
28. //处理内部链接
29. privatevoidextractRelativeUrls(MapurlMap,Stringtext,
30. CrawlerUrlcrawlerUrl){
31. Matcherm=relativeRegexp.matcher(text);
32. URLtextURL=crawlerUrl.getURL();
33. Stringhost=textURL.getHost();
34. while(m.find()){
35. Stringurl=m.group();
36. String[]terms=url.split("ahref=\"");
37. for(Stringterm:terms){
38. if(term.startsWith("/")){
39. intindex=term.indexOf("\"");
40. if(index>0){
41. term=term.substring(0,index);
42. }
43. Strings="http://"+host+term;
44. urlMap.put(s,s);
45. System.out.println("Relativeurl:"+s);
46. }
47. }
48. }
50. }

如此，便构建了一个简单的网络爬虫程序，可以使用以下程序来测试它：

Java代码

1. publicstaticvoidmain(String[]args){
2. try{
3. Stringurl="http://www.amazon.com";
4. QueueurlQueue=newLinkedList();
5. Stringregexp="java";
6. urlQueue.add(newCrawlerUrl(url,0));
7. NaiveCrawlercrawler=newNaiveCrawler(urlQueue,100,5,1000L,
8. regexp);
9. //booleanallowCrawl=crawler.areWeAllowedToVisit(url);
10. //System.out.println("Allowedtocrawl:"+url+""+
11. //allowCrawl);
12. crawler.crawl();
13. }catch(Throwablet){
14. System.out.println(t.toString());
15. t.printStackTrace();
16. }
17. }

当然，你可以为它赋予更为高级的功能，比如多线程、更智能的聚焦、结合Lucene建立索引等等。更为复杂的情况，可以考虑使用一些开源的蜘蛛程序，比如Nutch或是Heritrix等等，就不在本文的讨论范围了。