Python爬虫系列——（一）发起HTTP请求/解析数据

最新推荐文章于 2025-10-21 14:09:52 发布

原创最新推荐文章于 2025-10-21 14:09:52 发布 · 2.8k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#python #json

Python爬虫专栏收录该内容

1 篇文章

订阅专栏

本文介绍了Python中发起HTTP/HTTPS请求的两种方法：urllib和requests库。详细讲解了urllib的urlopen()、Request对象、设置Headers、代理服务器和异常处理，以及requests库的简单使用、带参数请求和Response对象。并给出了爬取贴吧信息的综合案例。

（一）发起HTTP/HTTPS请求

方法一：urllib

urllib是python内置的HTTP请求库，无需安装即可使用，它包含了4个模块：

request：它是最基本的http请求模块，用来模拟发送请求
error：异常处理模块，如果出现错误可以捕获这些异常
parse：一个工具模块，提供了许多URL处理方法，如：拆分、解析、合并等

robotparser：主要用来识别网站的robots.txt文件，然后判断哪些网站可以爬

快速爬取一个网页

import urllib.request as ur
response=ur.urlopen("https://www.baidu.com")
html=response.read().decode("utf-8")
print(html)

<html>
<head>
	<script>
		location.replace(location.href.replace("https://","http://"));
	</script>
</head>
<body>
	<noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>
</body>
</html>

1、urllib.request.urlopen()

urllib.request.urlopen(url,data=None,[timeout,],cafile=None,capath=None,cadefault=False,context=None)

urlopen()方法可传递参数：

url：网站地址，str类型，也可以是一个request对象

**data：**data参数是可选的，内容为字节流编码格式的即bytes类型，如果传递data参数，urlopen将使用Post方式请求

from urllib.request import urlopen
import urllib.parse

data = bytes(urllib.parse.urlencode({'word':'hello'}),encoding='utf-8') #data需要字节类型的参数，使用bytes()函数转换为字节，使用urllib.parse模块里的urlencode()方法来讲参数字典转换为字符串并指定编码
response = urlopen('http://httpbin.org/post',data=data)
print(response.read())

#output
b'{
........
"form":{"word":"hello"},  #form字段表明模拟以表单的方法提交数据，post方式传输数据
"headers":{"Accept-Encoding":"identity",
 .......}'

**timeout参数：**用于设置超时时间，单位为秒，如果请求超出了设置时间还未得到响应则抛出异常，支持HTTP,HTTPS,FTP请求

import urllib.request
response=urllib.request.urlopen('http://httpbin.org/get',timeout=0.1)  #设置超时时间为0.1秒,将抛出异常
print(response.read())

#output
urllib.error.URLError: <urlopen error timed out>

可以使用异常处理来捕获异常

import urllib.request
import urllib.error
import socket
try:
    response=urllib.request.urlopen('http://httpbin.org/get',timeout=0.1)
    print(response.read())
except urllib.error.URLError as e:
    if isinstance(e.reason,socket.timeout): #判断对象是否为类的实例
        print(e.reason) #返回错误信息

#output
timed out

其他参数：context参数，她必须是ssl.SSLContext类型，用来指定SSL设置，此外,cafile和capath这两个参数分别指定CA证书和它的路径，会在https链接时用到。

2.返回HTTPResponse对象

urlopen()方法返回一个HTTPResponse类型的对象，该对象包含的方法和属性：

方法：read()、readinto()、getheader(name)、getheaders()、fileno()

属性：msg、version、status、reason、bebuglevel、closed

import urllib.request

response=urllib.request.urlopen('https://www.python.org')  #请求站点获得一个HTTPResponse对象
print(response.read().decode('utf-8'))   #返回网页内容
print(response.getheader('server')) #返回响应头中的server值
print(response.getheaders()) #以列表元祖对的形式返回响应头信息
print(response.fileno()) #返回文件描述符
print(response.version)  #返回版本信息
print(response.status)  #返回状态码200，404代表网页未找到
print(response.debuglevel) #返回调试等级
print(response.closed)  #返回对象是否关闭布尔值
print(response.geturl()) #返回检索的URL
print(response.info()) #返回网页的头信息
print(response.getcode()) #返回响应的HTTP状态码
print(response.msg)  #访问成功则返回ok
print(response.reason) #返回状态信息

3.构造Request对象

如果希望执行更为复杂的操作（如增加HTTP报头），则必须创建一个Request()对象作为urlopen()的参数。

urllib.request.Request(url,data=None,headers={},origin_req_host=None,unverifiable=False,method=None)

参数：

**url：**请求的URL，必须传递的参数，其他都是可选参数

**data：**上传的数据，必须传bytes字节流类型的数据，如果它是字典，可以先用urllib.parse模块里的urlencode()编码

**headers：**它是一个字典，传递的是请求头数据，可以通过它构造请求头，也可以通过调用请求实例的方法add_header()来添加

例如：修改User_Agent头的值来伪装浏览器，比如火狐浏览器可以这样设置：

{‘User-Agent’:‘Mozilla/5.0 (compatible; MSIE 5.5; Windows NT)’}

origin_req_host：指请求方的host名称或者IP地址

unverifiable：表示这个请求是否是无法验证的，默认为False，如我们请求一张图片如果没有权限获取图片那它的值就是true

method：是一个字符串，用来指示请求使用的方法，如：GET,POST,PUT等

import urllib.request
import urllib.parse
url='http://www.itcast.cn'
header={"User-Agent":'Mozilla/5.0 (compatible; MSIE 5.5; Windows NT)'}
data=bytes(urllib.parse.urlencode({"name":"itcast"}).encode('utf-8'))
request=urllib.request.Request(url,headers=header,data=data)
response=urllib.request.urlopen(request)
print(response.read().decode("utf-8"))

4.如何发送get请求？

如果使用urlopen()方法中的data属性发送的话属于POST请求，所有只能通过修改url的方式来发送GET请求，如:

word={"wd":"itcast"}
word=urllib.parse.urlencode(word)
new_url=url+"?"+word

5.添加特定Headers

可以调用request.add_header(“Connection”,“keep-alive”)

可以调用request.get_header(header_name=“Connection”)

6.代理服务器

之前的urlopen()方法就是urllib提供的一个opener，它是urllib.request.OpenerDirector类的对象。但urlopen()方法不支持代理，Cookie等其他的HTTP/HTTPS高级功能。所有需要自定义一个Opener，需要执行以下几步：

使用相关的Handler处理器创建特定功能的处理器对象
通过urllib.request.build_opener()方法创建自定义的opener对象
使用自定义的opener对象，调用open()方法发送请求

注意：如果想使用全局的opener发送请求的话，可以使用urllib2.install_opener()将自定义的opener对象定义为全局opener

import urllib.request
http_handler = urllib.request.HTTPHandler()
opener = urllib.request.build_opener(http_handler)
request=urllib.request.Request("http://itcast.cn")
response=opener.open(request)
print(response.read().decode("utf-8"))

设置代理服务器

用户可以用urllib.request.ProxyHandler方法来设置代理服务器

from urllib.error import URLError
from urllib.request import ProxyHandler,build_opener

proxy_handler=ProxyHandler({
    'http':'http://127.0.0.1:8888',
    'https':'http://127.0.0.1:9999'
})
opener=build_opener(proxy_handler) #构造一个Opener
try:
    response=opener.open('https://www.baidu.com')
    print(response.read().decode('utf-8'))
except URLError as e:
    print(e.reason)

获取网站的Cookies

#!/usr/bin/env python
#coding:utf8
import http.cookiejar,urllib.request
cookie=http.cookiejar.CookieJar() #实例化cookiejar对象
handler=urllib.request.HTTPCookieProcessor(cookie) #构建一个handler
opener=urllib.request.build_opener(handler) #构建Opener
response=opener.open('http://www.baidu.com') #请求
print(cookie)
for item in cookie:
    print(item.name+"="+item.value)

7.异常处理

urllib的error模块定义了由request模块产生的异常，如果出现问题，request模块便会抛出error模块中定义的异常。

1）URLError

URLError类来自urllib库的error模块，它继承自OSError类，是error异常模块的基类，由request模块产生的异常都可以通过捕获这个类来处理，它只有一个属性reason，即返回错误的原因

from urllib import request,error
try:
    response=request.urlopen('https://ewrewr.com/index')
except error.URLError as e:
    print(e.reason)  #如果网页不存在不会抛出异常，而是返回捕获的异常错误的原因(Not Found)

reason如超时则返回一个对象

import socket
import urllib.request
import urllib.error
try:
    response=urllib.request.urlopen('https://www.baidu.com',timeout=0.001)
except urllib.error.URLError as e:
    print(e.reason)
    if isinstance(e.reason,socket.timeout):
        print('time out')

2）HTTPError

它是URLError的子类，专门用来处理HTTP请求错误，比如认证请求失败，它有3个属性：

code：返回HTTP的状态码，如404页面不存在，500服务器错误等

reason：同父类，返回错误的原因

headers：返回请求头

from urllib import request,error
try:
    response=request.urlopen('http://cuiqingcai.com/index.htm')
except error.HTTPError as e:  #先捕获子类异常
    print(e.reason,e.code,e.headers,sep='\n')
except error.URLError as e:  #再捕获父类异常
    print(e.reason)
else:
    print('request successfully')

方法二：requests

requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多。因为是第三方库，所以使用前需要cmd安装：pip install requests

安装完成后import一下，正常则说明可以开始使用了。

1.发起请求

基本用法：requests.get()用于请求目标网站，类型是一个HTTPresponse类型

import requests
url="http://httpbin.org/get"
data={"keywords":"itcast"}
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
response = requests.get(url,headers=headers,params=data)
print(response.text)

请求的结果如下：

{
  "args": {
    "keywords": "itcast"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
  }, 
  "origin": "118.123.252.136, 118.123.252.136", 
  "url": "https://httpbin.org/get?keywords=itcast"
}

还可以将参数放在url中发送get请求

import requests

response = requests.get(http://httpbin.org/get?name=gemey&age=22)
print(response.text)

除了提出get请求，还可以发出以下几个请求：

requests.get('http://httpbin.org/get')
requests.post('http://httpbin.org/post')
requests.put('http://httpbin.org/put')
requests.delete('http://httpbin.org/delete')
requests.head('http://httpbin.org/get')
requests.options('http://httpbin.org/get')

2.带参数的请求

1.URL参数

使用方法：

requests.get(url,params={'key1':'value1'},proxies=proxy)

2.表单参数提交

Content-Type:application.x-www-form-urlencoded (表单默认的提交数据格式)

内容：key1=value1&key2=value2

requests.post(url,data={'key1':'value1','key2':'value2'},proxies=proxy)

3.json参数提交

Content-Type: appliction/json (json数据格式)

内容：’{“key”:“value1”,“key2”:“value2”}’

requests.post(url,json={'key1':'value1','key2':'value2'},proxies=proxy)

3.Response对象

import requests

response = requests.get('http://www.baidu.com')
print(response.status_code)  # 打印状态码
print(response.url)          # 打印请求url
print(response.headers)      # 打印头信息
print(response.cookies)      # 打印cookie信息
print(response.text)  #以文本形式打印网页源码
print(response.content) #以字节流形式打印

4.异常捕获

在你不确定会发生什么错误时，尽量使用try…except来捕获异常。所有的requests.exception：

import requests
from requests.exceptions import ReadTimeout,HTTPError,RequestException

try:
    response = requests.get('http://www.baidu.com',timeout=0.5)
    print(response.status_code)
except ReadTimeout:
    print('timeout')
except HTTPError:
    print('httperror')
except RequestException:
    print('reqerror')

requests库将常见的http错误打了一个包，就是exceptions，通过使用exceptions可以处理项目中各种异常

RequestException:
HTTPError(RequestException) 　
UnrewindableBodyError(RequestException) 　
RetryError(RequestException) 　
ConnectionError(RequestException) ProxyError(ConnectionError)
SSLError(ConnectionError)
ConnectTimeout(ConnectionError, Timeout)
Timeout(RequestException) ReadTimeout
URLRequired(RequestException) 　
TooManyRedirects(RequestException) 　
MissingSchema(RequestException, ValueError) 　
InvalidSchema(RequestException,ValueError) 　
InvalidURL(RequestException,ValueError) 　
InvalidHeader(RequestException,ValueError) 　
ChunkedEncodingError(RequestException) 　
StreamConsumedError(RequestException,TypeError) 　
ContentDecodingError(RequestException,BaseHTTPError)

综合案例——爬取贴吧信息

爬取任意贴吧的帖子回复数，主题和发帖人的信息

分析url地址：

http://tieba.baidu.com/f?kw=xxx&ie=utf-8&pn=0 #第一页的内容
http://tieba.baidu.com/f?kw=xxx&ie=utf-8&pn=50 #第二页的内容
http://tieba.baidu.com/f?kw=xxx&ie=utf-8&pn=100 #第三页的内容

下面使用两种方法进行页面信息的爬取

1.使用requests方法

import requests
from lxml import etree as et
import json

class WebSpider(object):
    def __init__(self):
        self.keyword=input("输入要爬取的贴吧名：")
        self.start_page=int(input("输入起始页码："))
        self.end_page=int(input("输入结束页码："))
        self.base_url="http://tieba.baidu.com/"
        
    def load_page(self):
        user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
        header={"User-Agent":user_agent}
        for page in range(self.start_page,self.end_page+1):
            #newkeyword=bytes(self.keyword).encode('utf-8')
            new_url=self.base_url+"f?kw="+self.keyword+"&ie=utf-8&pn="+str((page-1)*50)
            print(new_url)
            response = requests.get(new_url,headers=header)
            self.parse_page(response.text)
            
    def parse_page(self,html):
        html_new=html.replace(r'<!--','"').replace(r'-->','"')
        root=et.HTML(html_new)
        replynum=root.xpath("//ul[@id='thread_list']/li/div/div[1]//span/text()")
        title=root.xpath("//ul[@id='thread_list']/li/div//a[@class='j_th_tit ']/text()")
        #//ul[@id='thread_list']/li/div/div[2]/div[2]/div[1]/div/text()
        url=root.xpath("//ul[@id='thread_list']/li/div//a[@class='j_th_tit ']/@href")
        author=root.xpath("//ul[@id='thread_list']/li/div/div[2]/div[1]/div[2]/span[1]/@title")
        self.append_page(replynum,title,url,author)
        
    def append_page(self,replynum,title,url,author):
        minsize=min(len(replynum),len(title),len(url),len(author))
        items=[]
        for i in range(minsize):
            item={}
            item["回复人数"]=replynum[i]
            item["帖子题目"]=title[i]
            item["帖子链接"]=self.base_url+url[i]
            item["作者"]=author[i]
            items.append(item)
        self.save_json(items)
    
    def save_json(self,items):
        try:
            for i in range(len(items)):
                strr = json.dumps(items[i],ensure_ascii=False)
                ff = open(self.keyword+".json","a",encoding='utf-8')
                ff.write(strr)
                ff.write("\n\n")
                ff.close()
            print("保存完毕")
        except Exception as ex:
            print("保存失败")
            print(ex)
            
if __name__=="__main__":
    spider = WebSpider()
    spider.load_page()

在这里插入图片描述

2.使用urllib方法

代码主体与上面的一样，下面只列出不同的函数

import urllib.request
import urllib.parse
from lxml import etree as et
import json

def load_page(self):
        user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
        header={"User-Agent":user_agent}
        for page in range(self.start_page,self.end_page+1):
            new_url=self.base_url+"f?kw="+self.keyword+"&ie=utf-8&pn="+str((page-1)*50)
            print(new_url)
            response = urllib.request.urlopen(urllib.request.Request(new_url,headers=header))
            self.parse_page(response.read().decode("utf-8"))