- 博客(4)
- 收藏
- 关注
RSS订阅原创 爬虫的技术问题
爬虫的技术问题 一、JS加密如何突破 熟练掌握 Chrome 的开发者工具的各个功能，Elements，Network，Source 认真观察，善于思考，Network 查看加载流程，找可疑的 xhr 请求，设置 xhr 断点，通过 CallStack 回溯 js 执行过程，边回溯便查看上下文代码。能读懂 js 代码，知道 js 的相关知识，比如 js 里面的 window 变量 以上是通过 debug js 找到 js 加密解密的代码，然后通过 Python 重新实现，这个过程很长，可能消耗你几天的时间，
2021-08-26 17:35:35
1109
1
原创 python execjs 执行报错 ‘gbk‘ codec can‘t decode byte 0xad in position 208: illegal multibyte sequence
点击进入如图中箭头方向进入subprocsee.py文件 将encoding=None 修改为encoding = "utf-8"
2021-07-29 15:00:34
427
1
原创 记录 python 逆向 登录某fang网站
目标网站: 链接:https://passport.fang.com/?backurl=http%3a%2f%2fmy.fang.com%2fHead%2fLoginOut.do 如图 通过关键字pwd 搜索可查看js的加密方法, 通过分析,并通过 execjs (pip install PyExecJS) 第三方库模拟执行js函数, , 徐创建一个js文件来执行 具体代码如下: import execjs import requests useaname = "帐号...
2020-09-03 18:08:05
750
原创 Scrapy原理
1、Scrapy Engine（Scrapy引擎）Scrapy引擎是用来控制整个系统的数据处理流程，并进行事务处理的触发。更多的详细内容可以看下面的数据处理流程。2、Scheduler（调度）调度程序从Scrapy引擎接受请求并排序列入队列，并在Scrapy引擎发出请求后返还给他们。3、Downloader（下载器）下载器的主要职责是抓取网页并将网页内容返还给蜘蛛( Spiders)。4、Spid...
2018-07-06 15:57:31
660
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人