一、思路:
登录 ====>进入指定页面 ====>获取cookie ====> 带cookie访问相关页面。
注:貌似微博页面稍微改了一下:现在通过登录直接进入个人中心的过程中所获取的cookie不能用于访问其他页面,因此,才会在登陆后加一层进入指定页面用于获取可用的cookie。
二、代码:
1、登录并获取cookie(url:https://login.sina.com.cn/signup/signin.php?entry=sso)

2、cookie访问(demo)
requests方式:

scrapy方式:

本文介绍了一种微博爬虫实现方案,包括登录过程、获取Cookie及如何使用Cookie访问其他页面等内容。针对微博页面改动,特别介绍了获取有效Cookie的方法。
7149

被折叠的 条评论
为什么被折叠?



