- 博客(3)
- 收藏
- 关注
RSS订阅
原创 【爬虫36例01】【已失效，订阅请谨慎】_signature参数分析
【声明：本文章仅供技术交流，请勿用于非法用途，如有其它非法用途造成损失，和作者无关】前情提要今日头条web版的请求主要参数是：as、cp、_signature。as、cp 比较简单，直接使用 js 源码，或者用 python 编译都可以。_signature比较复杂。依照经验来看，_signature 更新频率很频繁，有时半个月就更新。所以此篇文章代码不一定长期有效，但是解决方案通用。url 分析随便打开今日头条网页版一个界面，示例这里打开的是 “热点“ 分栏，https://www.touti
2020-07-06 16:30:46
7787
72
原创 【ubuntu】20.04下 Ctrl+Shift+E 无法使用 terminator 分屏问题解决
【原因】Ctrl+Shift+E 快捷键被占用【解决】cz@cz:~$ ibus-setup将 Emoji 标签中两个快捷键删除即可
2021-04-11 12:48:03
5184
6
原创 【scrapy爬虫】最新sogou搜狗搜索 机智操作绕过反爬验证码（搜狗微信公众号文章同理）
前情提要此代码使用scrapy框架爬取特定“关键词”下的搜狗常规搜索结果，保存到同级目录下csv文件。并非爬取微信公众号文章，但是绕过验证码的原理相同。如有错误，希望大家指正。URL结构https://www.sogou.com/web?query={关键词}&page={n}开始爬取scrapy常规操作就不唠叨了，上代码class SougouSearchSpider(scrapy.Spider): name = 'sogou_search' allowed_doma
2020-06-11 16:54:18
6338
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人