有一个词叫做“三月爬虫”,指的是有些学生临到毕业了,需要收集数据写毕业论文,于是在网上随便找了几篇教程,学了点requests甚至是urllib和正则表达式的皮毛,就开始写爬虫疯狂从网上爬数据。
这些爬虫几乎没有做任何隐藏自己的举动,不换IP,不设置headers,不限制速度,极易被有反爬的网站封锁,极易给没反爬的小网站造成流量压力。
后来,他们又不知道看了哪篇文章,知道要使用代理IP,要修改UserAgent。于是,他们真的就只在headers设置UserAgent,其他项一概不设置。你给他指出来,他还振振有词:你看我这样能爬到数据啊,headers里面其他项目没有用。
事实真的是这样吗?
我们来做个实验,首先使用Chrome访问httpbin.org/headers 这个网站可以显示当前你的headers。运行效果如下图所示:

最后,我们仅仅设置一个UserAgent看看效果:
可以看出来,仅仅设置一个UserAgent,与用浏览器访问的 Headers 还是有很多不一样的地方。缺了很多项。网站只需要检测缺的这几项,就能确定你是用程序发起的请求还是用浏览器发的请求。
说回微信网页版的问题。很多人使用wxpy或者itchat这种第三方库通过Python控制自己的微信号,实现很多自动化操作。但不久以后就反馈说自己被限制登录网页版微信了,以为是不是自己的行为被微信发现了,例如一秒钟内发了几十条消息,或者同时回复了好几个人的消息。
但我要说的是,你们太高估自己了,微信要发现你们,根本就不用这么麻烦。它直接检查headers就可以了

本文探讨了为何使用Python的wxpy或itchat库登录网页版微信会被限制,原因在于这些库在网络请求中仅设置了UserAgent,缺少其他关键Headers,容易被识别为爬虫行为。此外,文章还提及了弹幕包获取斗鱼直播信息时的不恰当请求方式,强调了设置完整Headers的重要性,以及反爬策略如何评估并封禁疑似爬虫行为。
最低0.47元/天 解锁文章
1538





