基于requests手写爬虫之requests.session()

最新推荐文章于 2025-07-05 06:50:28 发布

MrLe

最新推荐文章于 2025-07-05 06:50:28 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： requests 爬虫

本文链接：https://blog.youkuaiyun.com/weixin_39352048/article/details/80064936

本文详细探讨了Python的requests库中session()的功能和使用，阐述了如何利用session对象保持请求状态，提高爬虫效率。通过实例解析，展示了session在处理登录、cookie管理和重试请求等方面的优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
from lxml import etree
import json


class Cpquery(object):
    def __init__(self):
        self.session = requests.session()
        self.token = ""
        self.url = "http://cpquery.sipo.gov.cn/txnQueryOrdinaryPatents.do"
        self.message_url = "http://cpquery.sipo.gov.cn/txnQueryBibliographicData.do?select-key:shenqingh={0}&select-key:gonggaobj=1&select-key:backPage=http%3A%2F%2Fcpquery.sipo.gov.cn%2FtxnQueryOrdinaryPatents.do%3Fselect-key%3Ashenqingh%3D{1}%26select-key%3Azhuanlimc%3D%26select-key%3Ashenqingrxm%3D%26select-key%3Azhuanlilx%3D%26select-key%3Ashenqingr_from%3D%26select-key%3Ashenqingr_to%3D%26verycode%3D5%26inner-flag