pythonSSL证书 cookie session

最新推荐文章于 2023-04-16 16:23:37 发布

brkalsy

最新推荐文章于 2023-04-16 16:23:37 发布

阅读量2.3w

点赞数

CC 4.0 BY-SA版权

文章标签： python

本文链接：https://blog.youkuaiyun.com/enginebrkalsy/article/details/116069744

本文介绍了Python爬虫中遇到的SSL证书问题，如何利用Cookie反反爬，解决网页数据通过Ajax加载的情况。通过添加Cookie成功获取到车次和票务信息，同时探讨了使用Session保持会话状态，以及处理验证码图片的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SSL证书

在这里插入图片描述

Cookie

在这里插入图片描述

import requests
# url ='https://inv-veri.chinatax.gov.cn'
headers=headers = {
   
   
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}
# res =requests.get(url,headers=headers,verify=False)
# print(res.text)
url ='http://www.renren.com/974676254/profile'# 个人主界面
res =requests.get(url,headers=headers) #获取响应对象
# html = res.text
with open('rr.html','w',encoding='utf-8')as f:
        f.write(res.text)

在这里插入图片描述
##　添加cookie就可以

import requests
# url ='https://inv-veri.chinatax.gov.cn'
headers=headers = {
   
   
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36','Cookie':'anonymid=knuah4rlg19q8v; depovince=GUZ; jebecookies=9fa66178-66e2-4a23-b530-4e9c627e6273|||||; _r01_=1; JSESSIONID=abcLTfJ0P4Oov_4lYS_Jx; ick_login=7ca72789-831c-4f66-a502-c49190fe2c46; taihe_bi_sdk_uid=68327472d5a51ad2df417dfe0cdc315f; taihe_bi_sdk_session=4fc61b70afef852aca6587d8a70ef277'}
# res =requests.get(url,headers=headers,verify=False)
# print(res.text)
url ='http://www.renren.com/974676254/profile'# 个人主界面
res =requests.get(url,headers=headers) #获取响应对象
# html = res.text
with open('rr.html','w',encoding='utf-8')as f:
        f.write(res.text)

在这里插入图片描述

cookie–反反爬

在这里插入图片描述

网页看到数据，源代码没有——ajax

在这里插入图片描述

解决

在这里插入图片描述

数据找到了：

在这里插入图片描述

被反爬了

def query():
        headers = {
   
   
                'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}
        res =requests.get('https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date=2021-04-26&leftTicketDTO.from_station=CSQ&leftTicketDTO.to_station=BJP&purpose_codes=ADULT',headers=headers)
        print(res.content.decode('utf-8'))
query()