爬虫爬取微博用户粉丝及其关注

爬虫爬取微博用户粉丝及其关注

前言

​ ​ 前段时间做了一个爬虫爬取微博用户粉丝及其关注的小项目，但忙着中期毕设答辩忘了加以记录了。对于动态网页的解决办法是使用selenium（上手比较快，而且抓包实在太麻烦了hhhhh我就还没学）。

​ ​ 关于selenium爬虫的学习：

• b站视频：【爬虫入门】selenium爬取动态网页，以及常见的问题
• 视频的讲义：【爬虫入门】selenium爬取动态网页，以及常见的问题。

项目

​ ​ github地址：https://github.com/hit-thusz-RookieCJ/crawler_for_weibo_fans

简介

​ ​ 本项目通过selenium库爬取指定微博用户的关注、粉丝相关数据（昵称、性别、简介、地域、年龄、星座、学校、公司）。

​ ​ 需要注意的是，新浪微博网页版(https://weibo.com) 的查看粉丝存在数目限制（最多5页），因此在这里我们通过https://weibo.cn， 来爬取更多的粉丝数据。

Pipeline

1. python get_cookie.py，而后在浏览器上登录，获取相关cookie信息，使得我们之后爬取信息时候可以自动登录
2. 在selenium_crawler.py中填写需要搜索的用户名称后，python selenium_crawler.py