python爬虫之cookies设置

最新推荐文章于 2023-11-28 21:33:52 发布

原创

最新推荐文章于 2023-11-28 21:33:52 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #python

文章讲述了如何使用Python的requests库和cookies来模拟登录获取需要登录权限的网页内容，包括如何解析cookies并将其应用到请求头中，以及在没有cookies时遇到的跳转问题。

获取需要登录的网页内容，需要登录，同站网页之间通过cookies进行身份认证，就不需要每打开一个网页都需要的登录了。

当没有使用登录后的cookies时，爬取网页内容为跳转到需要登录的页面：

当使用登录登录后的cookies时，就可以爬取到用户页面信息了。

import requests

url = "https://my.cheshi.com/user/"
headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Core/1.94.201.400 QQBrowser/11.9.5325.400"
}

cookies = "pv_uid=1696110713571; cheshi_UUID=01HCE8FW111908DXNGN2F4C57C; lv=1697712235; vn=3; pv_source=; Hm_lvt_8fe47348e12ba11be217fd3891115472=1696910758,1697092210,1697711238; cheshi_pro_city=MThf5rm15YyXXzI1NV/ojYblt55famluZ3pob3U=; Hm_lvt_ed9cf33799965fb6c811162ac84e663e=1697761252; Hm_