网络爬虫与浏览器的异曲同工之处

 

网络爬虫与浏览器的异曲同工之处

抓取网页的过程其实和读者平时使用IE浏览器浏览网页的道理是一样的。比如，你打开一个浏览器，输入清华大学的网址http://www.tsinghua.edu.cn，如图1.1所示。

 

"打开"网页的过程其实就是浏览器作为一个浏览的"客户端"，向服务器端发送了一次请求，把服务器端的文件"抓"到本地，再进行解释、展现。更进一步，可以通过浏览器端查看"抓取"过来的文件源代码。选择"查看"|"源文件"命令，就会出现从服务器上"抓取"下来的文件的源代码，如图1.2所示。

 

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的响应资源。

网络爬虫获取网页的核心代码与IE浏览器的比较如下：

//创建一个客户端，类似于打开一个浏览器  

HttpClient httpclient=new HttpClient();   

//创建一个get方法，类似于在浏览器地址栏中输入一个地址  

GetMethod getMethod=new GetMethod("http://www.tsinghua.edu.cn");  

//回车，获得响应状态码  

int statusCode=httpclient.executeMethod(getMethod);   

//查看命中情况，可以获得的东西还有很多，比如head、cookies等  

System.out.println("response=" + getMethod.getResponseBodyAsString());   

//释放  

getMethod.releaseConnection(); 

 

上面的示例代码是使用HttpClient进行请求与响应的例子。

l 第一行表示创建一个客户端，相当于打开浏览器。

l 第二行使用get方式对http://www.tsinghua.edu.cn进行请求。

l 第三行执行请求，获取响应状态。

l 第四行的 getMethod.getResponseBodyAsString()方法能够以字符串方式获取返回的内容。这也是网页抓取所需要的内容。在这个示例中，只是简单地把返回的内容打印出来，而在实际项目中，通常需要把返回的内容写入本地文件并保存。而对于浏览器而言，从服务器返回的内容可以按照自己的风格显示给用户。PC机上的各个浏览器显示内容风格差别不大；而在手机上，风格迥异。

l 最后还要关闭网络连接，以免造成资源消耗。