python爬虫Requests库：学习心得

最新推荐文章于 2023-05-14 16:10:10 发布

原创

最新推荐文章于 2023-05-14 16:10:10 发布 · 1.8k 阅读

25 ·

CC 4.0 BY-SA版权

文章标签：

#requests #python爬虫

本文介绍了Python爬虫中常用的Requests库，包括其优雅简洁的特点，安装方法，主要的HTTP方法，Response对象属性，异常处理，以及如何构建爬虫框架。还探讨了复杂POST请求、重定向和超时问题的解决方案，并提示了使用requests-toolbelt处理大文件上传。最后，文章提及Requests的高级用法。

一 Requests的介绍

requests官网

爬取网页最好的python库，官网描述：Requests is an elegant and simple HTTP library for Python, built for human beings.

二安装方法

直接使用：pip install requests

三 Requests基本使用

1. Requests库的7个主要方法

方法	说明
requests.request()	构造一个请求，支撑以下各方法的基础方法
requests.get()	获取HTML网页的主要方法，对应于HTTP的GET
requests