爬虫第三课---reuqests

韩淼燃

于 2019-04-07 21:53:47 发布

阅读量851

点赞数 2

CC 4.0 BY-SA版权

分类专栏： python怕虫项目课程文章标签： requests

本文链接：https://blog.youkuaiyun.com/weixin_36691991/article/details/89076013

python怕虫项目课程专栏收录该内容

18 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了如何使用requests库进行网页数据抓取，包括基本的请求代码实现，配合注释帮助理解，对于初学者极具参考价值。如有疑问，欢迎留言讨论。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

'''
第三方库，需要安装，pip install requests
1.请求

'''

import requests

requests.get()  # get请求，如果get中有请求参数。我们使用如下
params = {'wd': 'python'}
url = 'http://www.baidu.com/s?'
headers = {}
r = requests.get(url, params=params, headers=headers)
# 手动设置编码
r.encoding = ''
# 获取请求完的内容
r.text  # 返回的是一个字符串文本内容
r.content  # 返回的是二进制
requests.post(url=url, data={})  # post请求 url是路由，data是post的参数
r.json()  # 返回字典
# 处理cookie，获取cookie
cookies = {}
for items in r.cookies.items():
    cookies[items[0]] = items[1]
# 存储cookie，1，写文本2，数据库，存储W为字典形式是因为resques接受的参数是字典的形式
r = requests.get(url, params={}, headers&