Spider网络爬虫学习——通过Get、Post方法直接抓取网页内容

网络爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。我们常用网络爬虫程序，在网络上抓取自己感兴趣的信息，那么网络爬虫程序究竟是怎么写的呢？接下来将一步步展开介绍。

今天，首先介绍下怎么抓取网页上的数据。在任何一个网页上，我们可以右键查看网页源代码，看到网页上的各元素。实际上，我们每次向服务器发起请求的时候，服务器正是返回给我们这些数据，而浏览器的功能则是解析这些数据，展现给我们看。爬虫程序正是把这些个数据Down下来，然后通过自己指定的规则，筛选出有用的信息。那么，我们要如何获取这些数据呢？

首先，介绍下Http协议的两种请求方法。Http协议共有Get和Post两种请求方法，最主要的区别也是最明显的区别就是：Get请求是把参数带在URL中；而Post请求则是把参数放在Header后面的实体中。所以，我们可以分别模拟Get和Post两种方法来获取网页内容。

代码如下：

package com.smallstone.spider;

import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;

import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpException;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.NameValuePair;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.methods.PostMethod;

/**
 * Get、Post方法抓取网页内容
 * 
 * @author SmallStone
 * @date 2014-5-23
 */
public class Spider {
	// http客户端实例
	public static HttpClient httpClient = new HttpClient();
	
	/**
	 * 通过Get请求方法抓取网页内容
	 * 
	 * @param url
	 * @return
	 * @throws HttpException
	 * @throws IOException
	 */
	public static Boolean downloadPageByGet(String url) throws HttpException, IOException {
		// 返回状态码
		int statusCode;
		// 文件名
		String fileName = "getExample.txt";
		// 输入流
		InputStream inputStream = null;
		// 输出流
		OutputStream outputStream = null;
		// http选择Get方法
		GetMethod getMethod = new GetMethod(url);
		
		// 执行方法
		statusCode = httpClient.executeMethod(getMethod);
		
		// 判断返回状态码，OK则为成功，返回true；否则为失败，返回false
		if(statusCode == HttpStatus.SC_OK) {
			inputStream = getMethod.getResponseBodyAsStream();
			outputStream = new FileOutputStream(fileName);
			
			// 输出到文件
			int readByte = -1;
			while( (readByte = inputStream.read()) > 0) {
				outputStream.write(readByte);
			}
			
			// 关闭输入、输出流，释放资源
			if(inputStream != null)
				inputStream.close();
			if(outputStream != null)
				outputStream.close();
			
			return true;
		}
		else
			return false;
	}
	
	/**
	 * 通过Post请求方法抓取网页内容
	 * 
	 * @param url
	 * @return
	 * @throws HttpException
	 * @throws IOException
	 */
	public static Boolean downloadPageByPost(String url) throws HttpException, IOException {
		// 返回状态码
		int statusCode;
		// 文件名
		String fileName = "postExample.txt";
		// 输入流
		InputStream inputStream		= null;
		// 输出流
		OutputStream outputStream	= null;
		// http选择post方法
		PostMethod postMethod = new PostMethod(url);
		// post方法的参数
		NameValuePair[] postData = new NameValuePair[2];
		
		// 设置post方法参数
		postData[0] = new NameValuePair("userName", "xxxxxx");
		postData[1] = new NameValuePair("password", "xxxxxx");
		postMethod.addParameters(postData);
		
		// 执行方法
		statusCode = httpClient.executeMethod(postMethod);
		
		// 判断返回状态码，OK则为成功，返回true；否则为失败，返回false
		if(statusCode == HttpStatus.SC_OK) {
			inputStream = postMethod.getResponseBodyAsStream();
			outputStream = new FileOutputStream(fileName);
			
			// 输出到文件
			int readByte = -1;
			while((readByte = inputStream.read()) > 0) {
				outputStream.write(readByte);
			}
			
			// 关闭输入、输出流，释放资源
			if(inputStream != null)
				inputStream.close();
			if(outputStream != null)
				outputStream.close();
			
			return true;
		}
		else
			return false;
	}
	
	/**
	 * 主方法
	 * 
	 * @param args
	 * @throws HttpException
	 * @throws IOException
	 */
	public static void main(String[] args) throws HttpException, IOException {
		// Get请求URL
		String getURL = "http://www.baidu.com";	// 百度首页
		// Post请求URL
		String postURL = "http://xxxxxxxxxxx";	// 自己找一个post的网站
		
		// 通过Get请求方法抓取网页内容
		downloadPageByGet(getURL);
		// 通过Post请求方法抓取网页内容
		downloadPageByPost(postURL);
	}

}

downloadPageByGet( )和downloadPageByPost( )这两个方法正是模拟了抓取内容的过程。可以发现，Post请求的时候，需要设置参数；而Get请求的时候没有设置，而是直接URL中直接填写(百度首页这个例子没有体现)