爬虫 requests库的异常

requests.ConnectionError   :  网络连接错误异常,如DNS查询失败,拒绝连接等

requests.HTTPError  :  HTTP错误异常

requests.URLRequired    :  URL缺失异常

requests.TooManyRedirects  :  超过最大定向次数,产生重定向异常

requests.ConnectTimeout     :   连接远程服务器超时异常

requests.Timeout    :  请求URL超时,产生超时异常、

 

 

r.raise_for_status()   :  如果不是200,产生异常request.HTTPError

<think>好的,用户想了解Python中requests在网络爬虫中的详细用法。首先,我需要整理requests的基础知识,包括安装方法和基本请求方法。根据引用[2],安装是通过pip install requests完成的。然后,像发送GET请求这样的基础语法,如引用[1]中的例子,需要解释清楚。 接下来,要覆盖requests的核心功能,比如不同的HTTP方法(GET、POST等),处理响应对象,设置请求头和参数。引用[3]提到了Prepared Request对象,这部分可能需要详细说明如何使用它来构建更复杂的请求。同时,引用[4]中的例子展示了如何发起请求和处理响应,可以作为示例代码的参考。 用户可能还需要了解高级功能,比如会话保持、代理设置和超时处理。这部分需要结合实际的爬虫应用场景,比如如何处理Cookie和Session,使用Session对象提高效率,如引用[3]中的Session例子。此外,异常处理也很重要,确保爬虫的健壮性。 然后,根据用户提供的引用内容,可能需要整合各个引用中的信息,确保涵盖所有关键点。比如,引用[1]提到了response的属性和类型,需要详细列出常见的属性和方法。引用[3]的Prepared Request部分需要解释其用途和优势。 最后,生成相关问题,帮助用户进一步学习。问题可能涉及性能优化、高级配置、异常处理等,确保覆盖用户可能感兴趣的后续主题。同时,需要检查所有LaTeX格式是否正确,行内公式用$...$,独立公式用$$...$$,并确保引用标识正确添加。</think>### Python Requests网络爬虫使用教程详解 #### 一、安装与基础语法 1. **安装方法** 使用以下命令安装requests: ```bash pip install -i https://pypi.tuan.tsinghua.edu.cn/simple requests ``` 或简化为: ```bash pip install requests ``` 引用清华大学镜像源可加速安装[^2]。 2. **发送GET请求** 基础语法如下: ```python import requests url = 'http://www.baidu.com' response = requests.get(url) ``` 这里`response`对象包含服务器返回的所有数据[^1]。 --- #### 二、核心功能详解 1. **HTTP方法支持** requests支持GET、POST、PUT、DELETE等方法: ```python # POST请求示例(带表单数据) data = {'key1': 'value1', 'key2': 'value2'} response = requests.post('http://httpbin.org/post', data=data) ``` 2. **响应对象属性** `response`的关键属性: - `text`:响应内容(字符串) - `content`:二进制内容(如图片) - `status_code`:HTTP状态码(如200) - `headers`:响应头信息[^4]。 3. **请求头与参数设置** - **自定义请求头**: ```python headers = {'User-Agent': 'Mozilla/5.0'} response = requests.get(url, headers=headers) ``` - **URL参数**: ```python params = {'key': 'value'} response = requests.get(url, params=params) ``` --- #### 三、高级功能 1. **会话保持(Session)** 使用`Session`对象可保持Cookie和连接复用,提升效率: ```python s = requests.Session() s.get('http://httpbin.org/cookies/set/sessioncookie/123456789') response = s.get('http://httpbin.org/cookies') # 自动携带Cookie ``` 2. **Prepared Request** 通过`Prepared Request`预构建复杂请求,适用于需要精细控制的场景: ```python from requests import Request, Session req = Request('POST', url, data=data, headers=headers) prepped = s.prepare_request(req) response = s.send(prepped) # 发送预构建请求[^3] ``` 3. **代理与超时设置** - **代理配置**: ```python proxies = {'http': 'http://10.10.1.10:3128'} response = requests.get(url, proxies=proxies) ``` - **超时控制**: ```python response = requests.get(url, timeout=5) # 5秒超时 ``` --- #### 四、异常处理 requests定义了几种常见异常: ```python try: response = requests.get(url, timeout=3) except requests.exceptions.Timeout: print("请求超时") except requests.exceptions.RequestException as e: print(f"请求失败: {e}") ``` ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值