知乎爬虫之3:请求分析（附赠之前爬取的数据一份）

最新推荐文章于 2021-02-26 01:57:45 发布

weixin_30856965

最新推荐文章于 2021-02-26 01:57:45 发布

阅读量136

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/seven007/p/6248542.html

本文由博主原创,转载请注明出处：我的博客-知乎爬虫之3:请求分析

git爬虫项目地址(关注和star在哪里~~):https://github.com/MatrixSeven/ZhihuSpider （已经完结）

附赠之前爬取的数据一份(mysql): 链接:https://github.com/MatrixSeven/ZhihuSpider/README.MD 只下载不点赞，不star，差评差评~蓝瘦香菇）

咱们上一篇所长说了爬虫的爬取大概思路：知乎爬虫之2:爬虫流程设计(附赠爬出的数据库),这一篇幅就来研究分析下模拟登陆知乎.

ps：拿数据的好多啊~只下载不点赞，不star，蓝瘦香菇

首先来说,网上模拟登陆知乎的文章已经是多不胜数,而且模拟登陆知乎也比模拟登陆微博百度简单很多,但是本着善始善终的原则,咱们还是重头到尾的过上一遍.

1.工具

恩,工具呢,就用咱们自己平时用的浏览器就ok.牛逼闪闪的f12,就足够用.然后在使用下Fiddler来查看下登陆状态…

2.登陆分析

打开http://www.zhihu.com,点击登陆,然后直接F12,调试出开发者工具,选择NetWork,输入账号密码和验证码,点击登陆,发现右侧出现了网络请求.

发现有个email的请求,请求信息为:

请求地址:https://www.zhihu.com/login/email
请求方式:post

下面的内容先不去管它,直接拽到最下面:

..发现有如下信息

_xsrf:xxxxxxxxxxxxxxxxxx
password:xxxxx
captcha:HDMG
email:xxxxxx@xx.com

恩,就是Post一下,看看登陆时候成功,并且抓一下登陆失败时的错误信息.

故意输入错误邮箱 ,密码

拿到如下结果:

1. 邮箱不存在:

2. 密码错误:

那么登陆成功是怎么一种标识状态呢?

咱们这里借助下Fiddler

打开Fiddler,再次进项知乎登陆,然后找到 https://www.zhihu.com/login/email 这个请求.发现登陆成功后返回了一个Json串:

恩,那么还有一个_xsrf,那么这个参数在哪里呢?

其实_xsrf这种东西,基本都存在于页面的源码里,打开登陆页面,右键查看查看源代码,可发现:

哈哈,原来在一个隐藏域里....

哈哈,这是不是故意就让人爬的了...过程比我想象中的简单很多..

但是具体行不行呢,还得上代码试一试哈哈...

## 3.跟随/关注分析

直接打开https://www.zhihu.com/people/Sweets07/followers,然后f12,开始分析请求.

直接滚动页面,发现出现异步请求,请求地址为:

https://www.zhihu.com/api/v4/members/Sweets07/followers?per_page=10&include=data%5B%2A%5D.employments%2Ccover_url%2Callow_message%2Canswer_count%2Carticles_count%2Cfavorite_count%2Cfollower_count%2Cgender%2Cis_followed%2Cmessage_thread_token%2Cis_following%2Cbadge%5B%3F%28type%3Dbest_answerer%29%5D.topics&limit=10&offset=30

可发现请求参数为:

include:data[*].employments,cover_url,allow_message,answer_count,articles_count,favorite_count,follower_count,gender,is_followed,message_thread_token,is_following,badge[?(type=best_answerer)].topics

limit:10

offset:30

返回的Json为:

哇塞.里面有各种信息...

如:

1. 下一个请求的地址

2. 人员信息,id啊,头像啊,学校,公司,签名啊,关注人数.....

恩,其实咱们拿一部分就够了,对,就是那个ID...有的id就可以直接打开个人页面了..然后说这个请求有些问题,因为直接带着cookie get会出现一个错误:

{"message":"身份未经过验证","code":100,"name":"AuthenticationException"}

这个是因为在请求的时候多了一个头:

那么这个参数在哪里呢??

找来找去,最后发现,这个参数在请求个人主页信息的cookie里.

跟随者和关注者差不多.....

就到这里吧,下一步开始撸代码...

//吾爱Java(QQ群):170936712（点击加入）

知乎爬虫之2:爬虫流程设计(附赠爬出的数据库)

转载于:https://www.cnblogs.com/seven007/p/6248542.html