爬虫

最新推荐文章于 2025-08-27 09:30:12 发布

原创最新推荐文章于 2025-08-27 09:30:12 发布 · 321 阅读

CC 4.0 BY-SA版权

本文介绍了网络爬虫的工作流程，包括选取种子URL、DNS解析、网页下载与去重。强调了HTTP请求在爬虫中的重要性，并详细讲解了Python中实现HTTP请求的三种方式：urllib2/urllib、httplib以及第三方库Requests的使用方法，包括GET和POST请求的示例。

网络爬虫结构
网络爬虫的基本工作流程如下：
1，首先选取一部分精心挑选的种子URL。
2，将这些URL放入待抓取的URL队列。
3，从待抓取的URL对列中读取待抓取的队列URL，解析DNS，并且得到主机的IP,并将URL对应的网页下载下来，储存进已下载的网页库中。此外，将这些URL放进已抓取URL队列。
4，分析已抓取的URL队列中的URL，从已下载的网页数据中分析出其他URL，并和已抓取的URL进行比较去重，最后将去重过的URL放入待抓取URL队列，从而进入下一个循环。
通过上面的内容我们可以看到，读取URL，下载网页是每一个爬虫必备而且关键的功能，这就需要用到HTTP请求。
Python中实现HTTP请求的三种方式：
（1）urllib2/urllib实现
它们是python中的两个内置模块，要实现HTTP功能，实现方式是以urllib2为主，以urllib为辅。
urllib2提供一个基础函数urlopen,通过向指定的URL发出请求来获取数据。下面是一个最简单的形式：

import  urllib2
response=urllib2.urlopen('http://www.zhihu.com')
html=response.read()
print html

也可以将上面对http://www.zhihu.com的请求响应分为两步，一步是请求，一步是响应，形式如下：

import  urllib2
#请求
response=urllib2.Request('http://www.zhihu.com')
#响应
response=urllib2.urlopen(request)
html=response.read()
print html

上面这两种形式都是GET请求，接下来是POST请求，这时就用到了urllib。

import urllib
import urllib2
url='http://www.xxxxxx.com/login'
postdata={'username':'qiye'
          'password':'qiye'}
html=response.read()

但是有时会出现这种问题：即使POST请求的数据是对的，但是服务器拒绝你的访问。这样问题就出现在请求的头信息，服务器会检验请求头，来判断是否是来自浏览器的访问，这也是反爬虫的常用手段。
（2）httplib/urllib实现
httplib模块是一个底层基础模块，可以看到建立HTTP请求的每一步，但是实现的功能比较少，正常情况下比较少用到。
（3）
Requests
Requests库是第三方模块，需要额外进行安装。
以GET请求为例，

import requests
r=requests.get('http://www.baidu.com')
print r.content

POST中也是一样，比urllib2实现方式的代码量少。