Python_DJ的博客

字体反爬，耐心找规律，key不变，变的是value，但value代表的数字是不变的，

这里有一个坑：就是在js测试调用后，在python调用时要注释js里面的方法，不然可能会出现只能获取到第一次或第二次请求的结果。

js代码和python代码都有了，可以debug慢慢调试看看，暗坑已经踩过了。

温故而知新，对比了网上几篇文章，重新总结学习。

第一步：切换登陆方式第二步：查看抓包情况第三步：模拟登陆后抓包查看发包参数，本次主要处理password这个参数l是对字符串处理的方法可以看出先对原密码进行了加密，然后用l方法对密码又进行了处理将代码添加到浏览器的Overrides,方便改写调试第四步：改写js并进行分析定义一个全局变量，把加载器赋值到全局变量，查看该变量控制台打印输出，可以看出导出了59个方法加密位置所有代码：js太多，放图片代替最后一步：模拟请求......

代码放在这儿方便后面使用

rpc使用在爬虫中的使用方式

个人理解：hook某个元素，实际上就是定位某个元素，例如cookie里面有个abc为名字，123为值，我们要查找设置cookie={abc:123}的位置，首先就要知道，cookie的设置是set方法，再例如发送一个ajax请求，就需要明确的知道，发送ajax需要有一个XMLHttpRequest对象，这个对象会用到open方法，在open方法中使用了url,要hook到url，实际上就是对open方法的重写，同理，hook到cookie时，也是对设置cookie的set方法进行重写...

文字点选是通过调用百度AI的文字识别接口，经过测试验证通过率不解释，能完成登录就行了# encoding: utf-8"""@time: 2021/5/28 9:45"""from pprint import pprintfrom selenium import webdriverfrom selenium.webdriver import ActionChainsimport timeimport base64from PIL import Imagefrom aip import

import requestsimport jsondef get_cookie(): url = "http://match.yuanrenxue.com/logo" headers = { "Host": "match.yuanrenxue.com", "Connection": "keep-alive", "Content-Length": "0", "User-Agent": "yuanrenxue.proje

.pyimport requestsimport execjsdef get_sign(word): with open("baidufanyi.js", "r", encoding="utf-8") as f: jscode = f.read() # https://blog.youkuaiyun.com/aobian2884/article/details/101404508/ 参考 此处jsdom安装失败 etx = execjs.compile(jscode,

首先查看ajax加载，可以发现，其所有的数据都是加密方式到前端页面，由前端页面js解密之后再渲染到网页中根据其关键字 encrypt_data进行全局搜索，寻找js的解密代码这个地方就是解密代码，但是这里仅仅是调用，所以要进到代码里面去查看看到这里已经发现t已经是ajax请求过来的数据了，然后是json被返回，所以重点分析这个区域的代码，可以看到，只有a.a.decode(t)调用了t，所以这个地方需要生成两个函数，一个是s，另一个是其包含的这个函数，其他都是固定的字符串，扣下来js直接调用就行

免责声明：仅供学习from pprint import pprintimport reimport requestsfrom requests.packages import urllib3urllib3.disable_warnings()INDEX_URL = "http://www.zjmazhang.gov.cn/hdjlpt/published?via=pc"POST_URL = "http://www.zjmazhang.gov.cn/hdjlpt/letter/pubList

from xml import etreeimport requestsimport reimport base64from fontTools.ttLib import TTFont, BytesIOheaders = { "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-excha

# 模拟登陆操作import timeimport requestsfrom urllib.parse import urljoinfrom requests.packages import urllib3urllib3.disable_warnings()BASE_URL = 'https://login3.scrape.center/'LOGIN_URL = urljoin(BASE_URL, 'api/login')INDEX_URL = urljoin(BASE_URL, 'ap

不管图片上是两个字，三个字，还是四个字，统统2分5厘环境的配置自行百度解决在实际开发环境中，这类验证码反爬通常都是比较难处理的，你要是说自己搞一个CNN卷积神经网络，那我只能说：大佬，带我飞。对于普通码农来说，能借助第三方平台起飞，也是不错的选择，毕竟公司要的是爬下来的数据，不是你用了什么方法在那儿破解登陆验证什么的，总之还是看效率的吧，个人理解，不喜勿喷！知识付费的时代，所以本文要求VIP用户才可以看，全程注释，小白也能秒懂# 点选文字验证码import timefrom io impo.

import jsonimport loggingfrom pyppeteer import launchfrom pyppeteer.errors import TimeoutErrorimport asynciofrom os import makedirsfrom os.path import existslogging.basicConfig(level=logging.INFO, format="%(asctime)s - %(levelname)s: %(message)s")

如果网页的内容是ajax异步加载的，恰好接口又是加密的，为了快速实现爬取数据，首先考虑到的是selenium，但是selenium还要配置谷歌浏览器，谷歌驱动等等，如果要部署或者迁移到其他设备上再去执行，环境配置就是必不可少的，遇见问题，可能半个小时就过去了，如果用pyppeteer完全不用考虑环境配置的问题，程序会自动加载所需要的环境，配合asyncio使用之后，爬取速度起飞，毕竟异步爬取秒同步爬取分分钟的事儿对于已知道爬取上限的网站来说很实用，但是对于需要判断是否有下一页的网站来说就略有不足，这里仅仅

http://fanyi.youdao.com/用的是谷歌浏览器，打开链接之后，F12,打开控制台，在有道待翻译区输入任意英文，例如“love”然后在控制台查看，发现有ajax请求查看该请求查看Headers，发现是post请求观察参数，红框为动态加密参数观察到sign签名关键字，全局搜索该参数点击查找到的js下断点进行观察分析代码里面有注释：// 这个是js文件var r = function (e) { var md5 = require('md5-nod

cmd里面运行：netstat -ano | findstr "PID进程号码"PID进程号在任务管理器里面获取第一台是127.0.0.1:62001第二台是127.0.0.1:62025使用：adb connect 127.0.0.1:62001 进行连接 需要打开开发者选项先启动adb start-server 再启动模拟器# 多台设备的时候，需要再cap里面设置udid,用来识别设备# 还需要再服务的设置bootstrap portadb -s 127.0.0.1:62025

无敌免责声明：本文主要用于学习技术，切不可用于非法盈利目的，不可用于商业，不可攻击该服务器先放出结果镇楼：{'nickname': 'Dear-迪丽热巴', '抖音ID': '274110380', 'work': '演员', 'signature': '先定一个能达到的小目标，比方说来句签名', '关注数量': '0', 'fans': '5130.4w', 'zan': '17058.8w...

第一步：配置JDK环境# 配置jdk环境# https://www.oracle.com/java/technologies/javase-jdk8-downloads.html# 查看是否安装成功 java， java -version， javac 三个命令可分别测试# 在安装前新建文件夹d: java/jdk|jre Java下面两个文件夹，安装时会让自定义两次安装路径，第一次在jd...

无敌免责声明：本案例用到的app仅仅做为学习使用，切勿使用爬虫程序恶意攻击该服务器。有了前面三节内容的铺垫，相信对抓包和模拟器配置都有了一些了解，这里实现一个完整的案例，仅做为入门学习记录。第一步：启动fiddler，并启用抓包第二步：启动安卓模拟器，设置代理，并启动APP应用，明确抓取内容接着向下翻页，滚动鼠标滚轮，之后回到顶部，点击第一个菜谱进入菜谱的详情页，回到fiddle...

第一部分# fiddler工具"""命令行下断点： bpu 域名 （实现请求前的断点拦截）bpu https://www.baidu.com bpu 回车 取消拦截 bpafter 域名（拦截响应包） bpa 回车（取消响应包的拦截） 设置网页元素的重定向，当服务器上的某个文件需要替换时，可以重定向到本地文件，没问题时再替换线上文件""""""...

虽然说在虚拟机的终端也可以使用mitmproxy，但是操作起来却没有那么舒服，基本都是键盘上下左右和TAB等等，如果能使用鼠标那不香吗？刚在vm virtualbox装好的ubuntu18.04.4 LTS，这个时候，虚拟机可以访问宿主机网络，但是外部网络却没有办法访问虚拟机，是不是很尴尬，此时，就算启动了mitmproxy，但是由于网络互通访问的问题，它根本无法成为代理，也就无法监听数据流，解...

# app数据# 简单# 比web端更容易，反爬虫不太强，大部分是http/https协议，大多返回json# 困难# 01 可能需要适当的反编译，分析出加密算法并抓取到信息# 02 可能加固，需要脱壳，然后反编译，分析出加密算法并抓取到信息# 03 需要破解通过各式各样的签名，整数，设备绑定等方法，找到隐藏加密算法# 技术要求# python爬虫开发经验 app逆向 java开...

# -*- coding: utf-8 -*-# Scrapy settings for morekeywords project## For simplicity, this file contains only settings considered important or# commonly used. You can find more settings consulting ...

"""分布式原理：统一的可访问可共享的requests队列分布式架构：主机Master用来维护爬取队列(redis)，从机slave1,slave2...负责数据抓取、处理、存储队列维护 ：Redis队列 # 非关系型数据库，Key-Value形式存储，结构灵活 # 内存中的数据结构存储系统，处理速度快，性能好 # 提供队列、集合等多种存储结构，方便队列维护去重：...

五步法破解字体反爬虫由于字体的加载和映射工作都是由css完成的，所以就算是借助来自动化工具也无法获取对应的文字内容就是这种情况，它就是字体反爬虫，与之前SVG反爬虫最大的区别就是，它所有的class都是一个值，而且标签的文本也是一个方框来表示的，所以处理起来可能会比较复杂，不要担心，继续跟着我的思路，你会豁然开朗，加油吧！再来看看网页的源码可以看到，在网页源码里面，是不同的类似符号的数...

svg映射反爬虫利用来浏览器和编程语言在渲染方面的差异，以及svg和css定位这样的前端知识。不管是数字还是英文，又或者是中文，都可以使用svg映射，以达到反爬虫的策略，正如上图页面里面，d标签里面什么都没有，只有一个class属性，但是页面却可以显示出相应的内容观察抓包情况：可以看到页面加载来两个文件，分别是css和svg看到css使用了background-image属性，说明它...

CSS偏移发爬虫，利用爬虫程序无法渲染css，但是浏览器能渲染css的特性设计出来的反爬虫手段上面的网页信息，页面显示的内容和实际的HTML文档不一样，这样爬虫就不能拿到准确的数据，因为网页显示数据不仅使用来i标签的数据，也使用来b标签的数据观察发现：没有i标签的b标签都有一个left属性，利用left的值来做偏移，覆盖掉i标签中的数据import requestsimport re...

网页异步动态反爬虫，就是数据不在HTML的原始文件中，而是通过ajax等技术，异步获取数据并且渲染到页面上的，有的时候，我们可以直接分析出异步接口，通过直接请求接口获取数据，但是遇到加密复杂的接口，可能破解起来比较消耗时间，这个时候我们就可以借助动态渲染的工具，如selenium,pyppeteer,或者splash等等。三个工具都可以实现动态页面的渲染，但是三个工具在使用时有明显的区别：se...

import requestsfrom parsel import Selectorimport iofrom urllib.parse import urljointry: from PIL import Imageexcept ImportError: import Imageimport pytesseracturl = "http://www.porter...

适用场景：有的时候，我们用scrapy写了一个爬虫，而且是用到了selenium和pyQt5写出的爬虫，在GUI界面，我们需要用户输入爬虫的许可证序列号才可以使用我们写好的爬虫，一机一码的那种爬虫，当用户输入我们加密生成的许可证序列号之后才可以用到我们的爬虫系统，在这里面就会出现一些BUG比如：序列号验证之后，如果序列号是无效的，我们应该如何关闭爬虫系统呢，注意----此时程序已经开始运行了，...

在 scrapy中使用logging# settings.pyLOG_LEVEL="WARNING" # 设置日志显示的等级LOG_FILE="./a.log" # 设置日志保存的位置，设置后界面不会显示日志内容# spider.pyimport loggingimport logging"""logging.basicConfig函数各参数: filename: 指定...

免责声明：仅供学习，提高技术，请勿商业或恶意攻击网站等其他使用，欢迎留言，评论，点赞，转发！由于亚马逊的机器检测比较灵敏，只能用scrapy+selenium来实现数据爬取了，虽然大部分的内容都能获取得到，比如静态的文字，可以直接获取了。如果想获取商品图片的高清大图，可能就没有那么容易了，一步一分析开始了##首先，得先找到高清图片的URL在哪儿吧，这个还是相对好找一些的，下图：你会发现，d...

免责声明：原创文章，仅用于学习，希望看到文章的朋友，不要随意用于商业，本作者保留当前文章的所有法律权利。欢迎评论，点赞，收藏，转发！关于亚马逊的爬虫，针对不同的使用场合，前前后后写了有六七个了，今天拿出其中一个爬虫，也是相对其他几个爬虫难度稍微大一些的，这个爬虫用到了我之前没有使用过的一个爬虫手法，虽然头疼了一天半的时间，不过最终还是写出来了！先上爬到结果，一睹芳容！# settings....

在用scrapy爬虫的时候，有时直接去爬是没有编码报错的，或者直接报编码出错，类似的是：UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xaf in position 235: illegal multibyte sequence因为当前爬取的网页是gbk格式的，而Python里面是utf-8格式的这个时候可能会有下面类似的提示：Trac...

励志一生网站的数据，新手比较难爬，特别是列表页的页码获取比较艰难，这里使用了正则表达式，内容的获取使用了BeautifulSoup库，并且在爬内容的时候出现了乱码，已完美解决！本文声明：仅用于爬虫学习，请勿商业和恶意攻击网站，本文解释权归作者所有。from bs4 import BeautifulSoupimport requestsimport osimport re# 设置url...

本文声明：仅为了学习爬虫编写，请勿商业或恶意攻击网站，解释权归作者所有由于智联招聘网的信息是动态加载的，所有对于新手比较难爬，重点在于找准确请求url注意：前三个字段是同一个请求，address字段是详情页实现效果：mysql实现效果：json文件#执行文件# -*- coding: utf-8 -*-import scrapyimport jsonfrom zlzp.it...