
python
文章平均质量分 76
逆向与爬虫的故事
TheWeiJun,专注于网络爬虫、Js逆向、App逆向实战经验分享。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
深入探索Go语言net/http包源码:从爬虫的视角解析HTTP客户端
HTTP是现代互联网中最重要的通信协议之一,而在Go语言中,net/http包则是处理HTTP请求与响应的核心库。本文将带你深入探索net/http包的源码,从爬虫的角度解析其内部工作原理,为你揭示Go语言中HTTP客户端的奥秘。通过本文的分析,我们深入了解了Go语言中net/http包的源码,并从爬虫的角度解析了HTTP客户端的工作原理。,有着执着的追求,信奉终身成长,不定义自己,热爱技术但不拘泥于技术,爱好分享,喜欢读书和乐于结交朋友,欢迎扫我微信与我交朋友💕。接下来,我们看看它的实现。原创 2023-08-15 15:06:24 · 2128 阅读 · 0 评论 -
数据解码:挑战不常见爬虫逆向分析,揭开数据迷雾的面纱
本文将带你进入一个神秘的逆向网站服务的世界,它以其独特的技术能力而闻名。,一个热爱阅读小说的小伙子,沉迷于mobi格式的书籍中。通过黑客般的技能,他将mobi文件投入逆向网站的深渊,瞬间,文件以txt的形式重新浮现!然而,有时我们会遇到一些特殊的格式,它们并不常见或缺乏对应的开源转换工具。2、点击页面中的选择文件按钮,上传我们需要转换的文件,然后点击Target选择转换格式。,有着执着的追求,信奉终身成长,不定义自己,热爱技术但不拘泥于技术,爱好分享,喜欢读书和乐于结交朋友,欢迎扫我微信与我交朋友💕。原创 2023-07-24 21:47:59 · 2957 阅读 · 0 评论 -
某安网别逆向,一不小心就......
大家好,我是TheWeiJun,欢迎来到我的公众号。在现代互联网中,cookie成为了网站管理的重要工具。某些网站会对cookie进行加密,以加强数据的安全性和保密性。然而,逆向加密算法并不是一件简单的事情。本文将探讨如何逆向某安网站的cookie加密参数,向读者介绍这一过程中所涉及的技术和工具,并提供详细的步骤和示例代码,以帮助读者更好地理解和掌握Cookie加密的原理与实现。原创 2023-05-10 11:25:47 · 1920 阅读 · 0 评论 -
某某网站JS逆向及tls指纹绕过分析
而今天我们要分享的文章中,和提到的这几个类型完全没有任何关联,遇到这样的问题,该如何解决这类型的问题?到此我们已经能够解决Robbers粉丝遇到的问题了,这也让我意识到随着反爬策略的升级,服务端可能会对爬虫最常用的第三方包进行请求指纹检测。看到此处后一下豁然开朗了,可以肯定对方服务端会对请求指纹进行校验,如果是我们刚刚使用的第三方包,都会被服务端给识别到,最后返回身份授权失败错误。,有着执着的追求,信奉终身成长,不定义自己,热爱技术但不拘泥于技术,爱好分享,喜欢读书和乐于结交朋友,欢迎加我微信与我交朋友。原创 2022-11-22 11:20:55 · 2439 阅读 · 1 评论 -
某某analysis参数算法分析
某麦analysis参数算法分析原创 2022-11-03 16:55:49 · 478 阅读 · 0 评论 -
python操作mysql流式读取数据—你没见过的黑科技
终于又和大家见面了!有好久不更新简书笔记了,今天来给大家分享一个大招!在分享之前,大家肯定遇到过mysql读取大量数据的操作吧,我想如果一次性读取大批数据,你的内存肯定撑不住,cpu跑满,或者服务器宕机的可能性都有。那么我们该如何避免呢,我想大多数人会想到分块读取,根据id来设置取值范围!这种方法可行,但是还有一种更好的方法,那就是流式读取法!类似于我们读取视频流信息,今天给大家分享点干货,记得点赞+关注哦!一、mysql流式读取# coding=utf-8from DBUtils.PooledD.原创 2021-03-16 10:45:00 · 1337 阅读 · 1 评论 -
python解析protobuf协议数据
文档介绍:大家在做爬虫解析的时候遇到json、html等数据,那么遇到protobuf类似的数据我们该如何解析呢?我已经给大家整理好代码,请查阅,记得点赞加关注哦。第一种方法import subprocess, redef decode(data): # 如果上传到linux线上服务器,需要chmod+x protoc赋予权限。 process = subprocess.Popen([r'protoc', '--decode_raw'], .原创 2021-03-10 14:09:40 · 4620 阅读 · 4 评论 -
python读写csv、txt、excel文件
大家做在数据处理的时候,肯定难免会与文件交互,那么对于指定的文件类型,我们如何操作呢?1.python读写csv文件import csv #python2可以用file替代openwith open('test.csv','w') as csvFile: writer = csv.writer(csvFile) #先写columns_name writer.writerow(["index","a_name","b_name"]) #写入多行用writerows writer.wr.原创 2020-05-22 17:07:35 · 344 阅读 · 0 评论 -
Scrapy抓取知乎网站
今天给大家带来如何抓取知乎网站中最新热点栏目中的信息,获取里面的标题、内容、作者、网友评论、点赞量等信息。获取这些数据可以提取我们想要的内容进行数据分析和数据展示,建立一个自己的网站,将获取的内容进行展示!###1.软件安装scrapy+selenium+chrome(详情见我的上一篇文章,这里就不提了)###2.接下来我就直接上代码,并进行一定的详解######1)首先要抓取知乎的数据...原创 2018-10-24 14:20:47 · 707 阅读 · 0 评论