
python爬虫
我不喜欢这个世界
我的指尖有改变世界的力量。
展开
-
python3 fiddler py3amf 中对抓包amf 变相处理
抓包遇到amf格式首先需要使用py3amf 库但是不清楚 提交的数据 怎么拼凑提交的数据 fiddler上显示 乱码确保求快解决 不想逆向我们可以直接打开fiddler的hexview 然后选择提交数据对应的hex copy提交的数据注意 header和提交数据之间有换行符,就是79后面的四个空位小点点我们从四个点以后copy (右键保存base64)这样就拿到base64编码的字节了发起请求import base64import re..原创 2021-06-05 20:54:10 · 1034 阅读 · 0 评论 -
python requests解压响应gizp数据包并解密转码
import requestsres= requests.post('http://www.xx.com',headers=headers,data=data)data = gzip.decompress(res.content).decode("utf-8")#gip解压#data = x149_170_124_157_150_xxx_xxx_201_188_149_163y#因为data是x开头结尾这种形式所以需要转码和解密 #下面进行转码k = [48, 49, 50, 51, 52,原创 2021-01-22 11:42:32 · 2516 阅读 · 1 评论 -
python post 提交gzip表单数据
import requestsimport jsonimport gzipurl = 'http://www.xxx.com'headers = {"Content-Type":"text/html","Content-Length":"1077","Host":"www.xxx.com","Connection":"Keep-Alive","Accept-Encoding":"gzip","User-Agent":"okhttp/3.8.0",}account = "1002323原创 2021-01-22 11:34:37 · 826 阅读 · 0 评论 -
python继承threading.Thread实现有返回值的子类
继承与threading.Thread实现有返回值的子类MyThreadimport threadingclass MyThread(threading.Thread): def __init__(self,func,args=()): super(MyThread,self).__init__() self.func = func ...原创 2019-01-14 15:03:02 · 1391 阅读 · 0 评论 -
python超易懂分布式爬虫实现(一)
看过博主文章的小伙伴都知道,所有博客以简为主,以懂为主。python分布式文章是连载的啊......,分别不同的方式和策略实现。一步一步提升你的爬虫速率。---------------------------------------------------------------------------------------------------------------------...原创 2018-11-14 16:16:57 · 1706 阅读 · 1 评论 -
Python中post提交数据格式攻略
爬虫除了经常用到的get请求以外,还会用到post请求,公司里新来了几个爬虫,感觉他们对post提交的格式问题,不是特别清楚。关于post提交,我们经常见到的就是在html网页中使用,经常遇到两种格式1 表单2 json提交1 (表单提交)我们可以打开google浏览器访问一个网页看一下Headers其中 Request Method:Post表示...原创 2018-08-14 23:22:58 · 7732 阅读 · 0 评论 -
python自动格式化Google浏览器下请求头参数
python抓取数据时候经常需要携带请求头之类参数,看到同事都是google浏览器中复制粘贴,然后手动一行一行转变成字典格式,以便符合携带格式。太繁琐,效率太低。这种东西就应该工具化,直接上代码:#coding:utf-8with open("请求头.txt")as f: res = f.readlines()headers ={}for r in res: ...原创 2018-08-11 17:01:18 · 1319 阅读 · 0 评论 -
python解密nike官网uuid实现可并发注册登录的解决思路
上次有个人要搞nike官网的账号注册,大致看了一下,自动化方面注册还是挺容易的,要是纯代码并发去注册,不是很容易。其中有个大问题就是你需要去解决大量的js混淆。看了请求包之类的,找到了主要的js混淆参数,其中一个就是uuid ,他们的uuid是有特征的,因为他们需要用这些特征去在后端做验证。首先你程序注册的时候,在点击输入email的时候,前端会随机生成uuid,此...原创 2018-06-19 17:21:37 · 7904 阅读 · 4 评论 -
python验证手机号是否注册学信网
返回值有两种状态:true 和 falsetrue 表示没被注册 :12345678900也是true,满足11位的就可以被检测,并不能检测手机号本身是否有效, 但是正常手机号,没被注册就是true。false 表示已经注册或者手机号格式不对:比如位数不是11位代码:import requests,reheaders =...原创 2018-06-21 11:41:31 · 1534 阅读 · 0 评论 -
python验证手机号是否注册过微博
首先看一下返回格式:"code":"100000"表示没注册"code":"600001"表示已经注册{"code":"100000","data":{"id":"","state":true,"type":"ok","code":&qu原创 2018-06-04 19:46:08 · 3188 阅读 · 0 评论