有关爬虫的

  
         最近在写一个有关于爬虫的小程序，其实不能算是一个比较复杂的爬虫，只是由于一个数据挖掘的项目需要采集数据，所以就临时写了一个简单的爬虫，下面是我在网上查找了相关的代码和资料之后自己修改的一个，可以用，这算是一个广度优先遍历的爬虫，由于项目需要目前这个爬虫的深度为2，层次更深的爬取程序可能会有一些问题，如重复网址的处理，死循环等等，暂时还在修改当中，至于深度优先遍历的爬虫还没有进行仔细考虑和实现，以后会进行考虑的。     

package spider3;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import java.net.*;
import java.io.*;
import java.util.regex.*;

import spider3.HttpTest;

/*
根据指定的规则，通过构造正则表达式获取网址
*/

public class Urls
{
    private String startUrl;                                         //开始采集网址
    String  urlContent;
    String ContentArea;
    private String strAreaBegin ,strAreaEnd ;            //采集区域开始采集字符串和结束采集字符串       
    String strContent;//获得的采集内容
    String[] allUrls;         //采集到的所有网址
    ArrayList< String> linkList = new ArrayList< String>();
    int max=0;
    private String  regex;                                                 //采集规则              
     
    /**
     * 初始化构造函数 strAreaBegin 和strAreaEnd
     * @param strAreaBegin
     * @param strAreaEnd
     */
 
    public Urls (String strAreaBegin,String strAreaEnd)
    {
        this.strAreaBegin=strAreaBegin;
        this.strAreaEnd=strAreaEnd;
    }
 
    
    /**
     * 获得开始采集网址
     * @param startUrl
     */
    public void setStartUrl(String startUrl)
    {
        this.startUrl=startUrl;
       // System.out.println("In setStartUrl===:" + startUrl);
    }
  /**
   * 获得网址所在内容;
   */
    public void getUrlContent()
    {
    	StringBuffer is=new StringBuffer();
    	try
    	{
    		URL myUrl=new URL(startUrl);
    		//System.out.println("In getUrlContent===:" + startUrl);
            BufferedReader br= new BufferedReader(new InputStreamReader(myUrl.openStream(),"gb2312"));                                              
            String s;                                                
            while((s=br.readLine())!=null)
            {
                is.append(s);
                
                //System.out.println(s);
            }                                            
            urlContent=is.toString();
        }
    	catch(Exception e)
    	{ 
    		System.out.println("网址文件未能输出");
    		e.printStackTrace();
    	} 
    }
     
  /**
   * 获得网址所在的匹配区域部分
   */
    public void getContentArea()
    {
         int pos1=0,pos2=0;
         pos1= urlContent.indexOf(strAreaBegin)+strAreaBegin.length();
         pos2=urlContent.indexOf(strAreaEnd,pos1);
         ContentArea=urlContent.substring(pos1,pos2); 
    }
    
    public void Urls()
    {
        int i=0;
        //String regex ="<a href="?'?http://[a-zA-Z0-9]+/.[a-zA-Z0-9]+/.[a-zA-Z]+/?[/.?[/S|/s]]+[a>]$";
        //String regex ="<a.*?/a>";
        String regex ="href\\s*=\\s*\"http?(.*?)[\"|>]";
        //String regex ="http://.*?>";
        Pattern pt=Pattern.compile(regex);
        Matcher mt=pt.matcher(ContentArea);
        while(mt.find())
         {
        	String link = mt.group().trim();
            link = link.replace("href=\"", "");
            link = link.replace("\"", "");
        	System.out.println(link);
            i++;
            if (link.length() < 1) {
                continue;
              }
              // 跳过链到本页面内链接。
              if (link.charAt(0) == '#') {
                continue;
              }
              if (link.charAt(0) == '/') {
                  continue;
                }
              
              if (link.indexOf("mailto:") != -1) {
                continue;
              }
             
              if (link.toLowerCase().indexOf("javascript") != -1) {
                continue;
              }
              int index = link.indexOf('#');
              if (index != -1) {
                link = link.substring(0, index);
              }   
              if(link.contains("item"))//符合规则包含特定字符的超链接才记录入链表
              {
            	  linkList.add(link);
              }
         }       
        System.out.println("共有"+i+"个符合结果");
        
    } 
    
    public void content() throws Exception
    {
  	  for(int i =1; i<linkList.size();i++)
  	  {
  		  System.out.println("in result========:" + linkList.get(i));
  		  
//  		  setStartUrl(linkList.get(i));
//  		  getUrlContent();
//  	      getContentArea();
//  	      Urls();
  		  
  	      HttpTest client = new HttpTest(linkList.get(i));
  		  client.run();
  		  max++;
  	  }
  	  System.out.println("处理完成：" + max);
    }
    
    //获取url网址
    public ArrayList< String> getResult(){
        return linkList;
    }
    public String getRegex()
    {
        return regex;
        
    }
    
    class UrlAndTitle
    {
        String myURL;
        String title;
    }
    
    public static void main(String[] args) throws Exception
    {
         Urls myurl=new Urls("<body","/body>");
         myurl.setStartUrl("http://");
         myurl.getUrlContent();
         myurl.getContentArea();
         myurl.Urls();
         System.out.println("------------------------------------------------------------------------");
         myurl.content();
 
    }
}