2021_11_25_自学笔记_urllib_微博的cookie登录

最新推荐文章于 2025-03-03 19:10:32 发布

原创

最新推荐文章于 2025-03-03 19:10:32 发布 · 750 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

这篇博客介绍了如何使用Python的urllib库进行微博的Cookie登录，以便在数据采集时绕过登录步骤。博主指出，登录页面需要特定的编码设置，否则可能会出现错误。文中展示了如何定制请求对象，模拟浏览器发送请求，并获取并解码响应数据，最后将数据保存到本地HTML文件中。

* coding : utf-8 *

@Time : 2021/11/25 15:14

@Author : Harken

适用场景：数据采集时候，绕过登录

个人信息页面是ut-8 但是还报错，因为并没有进入个人信息页面

登录页面不是utf-8 所以报错

import urllib.request

url = ‘https://weibo.com/5638695973/L37xPeSDk’

headers = {
‘user-agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36’
‘cookie’:‘XSRF-TOKEN=dapugYbDpR5gJ5pmGYI4bUPO; login_sid_t=3ee02dfc1f9454a1f39d19069cdd5164; cross_origin_proto=SSL; WBStorage=5fd44921|undefined; _s_tentry=weibo.com; wb_view_log=1920*10801; Apache=324687385244.0557.1637824675544; SINAGLOBAL=324687385244.0557.1637824675544; ULV=1637824675584:1:1:1:324687385244.0557.1637824675544:; SUB=_2A25Mm0kODeRhGeRH71sT9irJyTyIHXVv0T3GrDV8PUNbmtAKLRfWkW