python爬虫之requests

最新推荐文章于 2025-07-04 11:48:13 发布

原创最新推荐文章于 2025-07-04 11:48:13 发布 · 482 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #cookie #爬虫 #requests

本文通过实战演示了如何使用Python的Requests库进行网页请求、处理cookie、登录验证及文件保存等操作。详细介绍了请求发送方式、参数传递方法，并展示了如何处理登录过程中出现的验证码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

requests

查看requests有哪些方法

传参

二进制

r.content是二进制数据, r.text是文本数据

json处理

原始数据处理

url地址是一张图片的地址

提交表单

以form的格式传数据

以json的格式传数据

获取cookie

带上cookie

使用cookie登陆

import requests

headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'}

cookies = {'cookie':'复制浏览器的cookie'}

url = 'https://www.baidu.com/'

r = requests.get( url = url, cookies = cookies, headers = headers )

with open('baidu.txt', 'wb+') as f:
    f.write(r.content)

使用用户名和密码登陆

import requests
import html5lib
import re
from bs4 import BeautifulSoup


s = requests.Session()
url_login = 'http://accounts.douban.com/login'

formdata = {
    'redir':'https://www.douban.com',
    'form_email': '用户注册邮箱',
    'form_password': 't密码',
    'login': u'登陆'
}
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'}

r = s.post(url_login, data = formdata, headers = headers)
content = r.text
soup = BeautifulSoup(content, 'html5lib')
captcha = soup.find('img', id = 'captcha_image')
print(soup)
if captcha:
    captcha_url = captcha['src']
    re_captcha_id = r'<input type="hidden" name="captcha-id" value="(.*?)"/'
    captcha_id = re.findall(re_captcha_id, content)
    print(captcha_id)
    print(captcha_url)
    captcha_text = input('Please input the captcha:')
    formdata['captcha-solution'] = captcha_text
    formdata['captcha-id'] = captcha_id
    r = s.post(url_login, data = formdata, headers = headers)
with open('contacts.txt', 'w+', encoding = 'utf-8') as f:
    f.write(r.text)