shadowtalon的博客

今天介绍一种简单的过某宝水果验证码的方式（仅做学习使用）

pandas 的高级用法为数据分析提供了强大的工具和方法。从复杂的数据选择与过滤、数据分组与聚合、时间序列分析、数据透视表、缺失数据处理、数据转换、文件读写、性能优化到类别数据优化，pandas 的高级功能可以帮助数据科学家和分析师处理各种复杂的数据分析任务。掌握这些高级用法，可以显著提高数据处理的效率和质量。

pandas 是 Python 数据分析领域的核心库之一，它提供了丰富的功能来处理和分析数据。通过本文的介绍，你应该已经了解了如何安装 pandas，以及如何使用它进行数据读取、查看、选择、清洗、转换、合并、时间序列处理、数据分组、数据透视表创建和文件输出等操作。pandas 的强大功能使得它成为数据科学家和分析师不可或缺的工具之一。

pyautogui是一个功能强大的自动化库，它的高级用法可以满足复杂的自动化需求。通过屏幕图像搜索、多屏幕支持、滚动和拖动、监听键盘和鼠标事件、定时任务、异常处理以及性能优化等高级功能，pyautogui可以帮助开发者创建更加强大和灵活的自动化脚本。在使用这些高级功能时，需要注意异常处理和性能优化，以确保脚本的稳定性和效率。

PyAutoGUI 是一个功能强大的自动化库，它提供了丰富的方法来控制鼠标和键盘。通过本文的介绍，你应该已经了解了如何安装和使用 PyAutoGUI 来实现基本的自动化操作。在实际应用中，你可以根据自己的需求来编写更复杂的自动化脚本。

Scrapy-Redis使用来过滤重复的请求。你可以通过继承类来自定义过滤逻辑。# 自定义请求指纹生成逻辑然后在Scrapy-Redis允许你自定义调度器，以适应不同的爬取策略。设置自定义调度器创建一个继承自的类，并实现所需的方法。在中指定自定义调度器Scrapy-Redis的高级用法为爬虫开发提供了极大的灵活性和扩展性。通过自定义DupeFilter、调度器、动态控制爬取、利用Redis数据结构、负载均衡以及监控与日志，你可以构建高效、稳定且易于维护的分布式爬虫系统。

Scrapy-Redis是Scrapy框架的一个强大扩展，它利用Redis的高性能和分布式特性，使得Scrapy爬虫能够轻松实现分布式处理。通过简单的配置和代码修改，就可以将一个普通的Scrapy爬虫转变为一个高效的分布式爬虫。

Playwright是一个功能丰富、灵活的自动化库，它的高级用法可以帮助开发者解决复杂的自动化测试问题。本文介绍了Playwright的一些高级用法，包括浏览器上下文、选择器引擎、网络监听、模拟网络条件等。通过这些高级用法，您可以更有效地利用Playwright进行Web自动化测试。请注意，本文中的示例代码使用了Playwright的同步API，适合简单的脚本和学习目的。对于生产环境，推荐使用异步API以提高性能和效率。此外，Playwright的文档和社区资源非常丰富，是学习和解决问题的宝贵资料。

跨浏览器测试：支持Chrome、Firefox和Safari。跨平台测试：支持Windows、Linux、macOS。网络交互：支持拦截、修改网络请求。文件上传下载：支持文件的上传和下载操作。屏幕截图和PDF：可以捕获页面截图或生成PDF。视频录制：可以录制浏览器会话。Playwright是一个功能强大且易于使用的自动化库，它为自动化测试提供了丰富的API。通过上述的安装和使用方法，您可以快速上手Playwright，为您的自动化测试项目增添动力。

通过参数，你可以指定只在特定类型的异常发生时才进行重试。# 只有当发生IOError时才会重试pass。

默认情况下，retry装饰器会在任何异常时触发重试。但你可以通过stop和wait参数来自定义重试的条件和等待时间。"""重试条件装饰器"""try:raise# 这里可以是任何可能失败的操作# 函数将在遇到异常时等待2秒后重试，最多重试3次。

PyQuery是一个强大的Python库，它提供了类似于jQuery的语法来解析和操作HTML和XML文档。虽然PyQuery的基本用法已经相当直观，但本文将深入探讨一些高级用法，帮助开发者更高效地处理复杂的HTML文档。

PyQuery是一个强大的库，它提供了一种简单的方式来处理HTML文档。它使得Python中的HTML操作变得直观和易于理解，特别是对于那些熟悉jQuery的开发者来说。通过上述的使用方法，你可以开始使用PyQuery来解析和操作HTML文档了。

Spiders：负责解析响应并提取数据，生成Item。Items：用于定义爬取的数据结构。Pipelines：处理Spider返回的Item，如清洗、验证、存储到数据库等。Engine：控制整个爬虫的数据流处理。Downloader：负责下载网页内容。Scheduler：调度下载任务，排队等待下载。：处理引擎与下载器之间的请求和响应。Scrapy作为Python中一个非常流行的爬虫框架，其高级用法可以极大地提升爬虫的性能和效率。

在Scrapy中，Item是一个Python类，用于定义爬取的数据结构。编辑文件来定义你的Item。# 定义其他字段...Scrapy是一个功能强大的爬虫框架，它提供了丰富的特性来简化爬虫的开发和维护。通过本文的介绍，你应该能够安装Scrapy、创建项目、定义Item、编写Spider、运行爬虫以及存储数据。Scrapy的学习曲线可能稍微陡峭，但一旦掌握，它将大大提高你的爬虫开发效率。

持续集成（CI）是一种软件开发实践，通过自动化构建和测试来确保代码的质量。Selenium作为一个成熟的自动化测试工具，其强大的功能和灵活性使其在自动化Web测试领域占据重要地位。随着Web技术的不断发展，Selenium也在不断更新和改进，以适应新的测试需求。同时，新的工具如Puppeteer和Playwright也在为用户提供更多的选择。无论选择哪种工具，自动化测试的核心目标——提高软件质量、减少重复工作、加快测试速度——是不变的。

Selenium是一个功能丰富的工具，它不仅可以用于自动化测试，还可以用于自动化网页交互和数据抓取。通过掌握Selenium的基本和高级用法，你可以构建强大的自动化脚本，提高工作效率。记得在使用Selenium时，要遵守网站的使用条款，尊重网站的版权和隐私政策。

深入理解re模块的高级用法，可以帮助你更有效地处理复杂的文本匹配和处理任务。记住，正则表达式是一种强大的工具，但也需要谨慎使用，以避免造成不必要的性能问题。

re模块是Python中处理文本的强大工具，通过正则表达式，你可以执行复杂的文本匹配、搜索、替换和分割操作。掌握正则表达式的基本语法和re模块的使用方法，将大大提高你在文本处理方面的效率和灵活性。

Beautiful Soup默认使用Python内置的，但也支持其他解析器，如lxml的解析器，这可以提高解析速度并解决一些解析问题。# 使用lxml的解析器。

Beautiful Soup是Python的一个用于解析HTML和XML文档的库，它能够通过你喜欢的解析器来自动将繁杂的HTML或XML文档转换成易于使用的数据结构。Beautiful Soup的速度非常快，而且非常灵活，支持多种解析器，如Python标准库中的HTMLParser，以及第三方库lxml和html5lib。

lxml是一个功能强大的第三方库，它提供了对XML和HTML文档的高效处理能力。除了基本的解析和创建功能外，lxml还包含了一些高级用法，这些用法可以帮助开发者在处理复杂文档时更加得心应手。

详细解释HTTP请求头可以携带额外的信息，如用户代理、认证信息、内容类型等。在requests中，你可以通过headers参数自定义这些请求头。q=0.5',详细解释除了表单数据和文件，requests还允许你发送自定义的请求体，比如JSON格式的数据。这在使用API时特别有用，因为许多API都要求使用JSON格式。data = {本文详细介绍了requests。

其中，requests库用于发送HTTP请求，BeautifulSoup库用于解析HTML和XML文档，Scrapy是一款高效、灵活的网络爬虫框架，可用于大规模数据采集。Python爬虫技术的应用非常广泛，随着大数据和人工智能等技术的发展，Python爬虫技术的前景也越来越广阔。3.数据分析和挖掘：爬虫可以采集和整理大量的数据，用于数据分析和挖掘，例如社交媒体数据分析、航空航班数据分析等。5.反爬虫：爬虫也可以用于反爬虫，即通过构建爬虫的技术手段来识别和阻止恶意爬虫，保护网站数据的安全性和完整性。

我们的请求参数发生了改变，也要发送正常的加密后的参数才能获取到我们需要的数据。第二步全局搜索x-sign参数，发现整个app只有几个地方是有这个字符串的。因为app还蛮大的，所以我对jadx的使用内存进行了修改，扩大了内存。第一步当然是需要反编译了，因此我用jadx对app进行了反编译。搜索出来的结果不多，那我们分析起来也就简单多了。经过几分钟的分析 就能定位到我们需要的加密处。说做就做，这边用的python进行模拟请求。明明请求的内容和抓包的内容完全一致。就能正常返回我们需要的数据了。

某饿了么App最新版逆向分析（一）

某团外卖h5最新mtgsig

美团商超药店成品

极验三代四代成品

评论抓取 搜索接口等

抓包后：

转换前：转换后：

一、前言微博热搜榜每天都会更新一些新鲜事，但是自己处于各种原因，肯定不能时刻关注着微博，为了与时代接轨，接受最新资讯，就寻思着用Python写个定时爬取微博热搜的并且发送QQ邮件的程序，这样每天可以在不打开微博的情况下，时刻掌握着微博的最新动态资讯。废话不多说，下面直接上代码以及详细思路。二、代码及思路（1）首先肯定是对微博热搜进行爬取，这并不难，是个非常简单的爬虫。def getHTML(url): headers={ "User-Agent":"Mozill

一、前言前段时间，博主写过关于抖音视频、评论以及视频信息批量获取的文章，然后私下里有小伙伴让我也出个快手的批量获取视频、评论的博文，因为他遇到了快手抓不到包、连接不上网络的问题，既然是我的粉丝，那我就专门出一期文章来实现批量获取快手视频资源！二、分析过程不用说大家也知道，首先就是对app抓包啦，我们这边用的是fiddler，其他抓包工具也同理，我们用模拟器打开快手进行抓包。刚打开快手，fiddler就抓到了好多包，发现大部分是没用的，因此我们对这些包进行过滤，过滤后，我们需要的数据就自动高亮出来了

效果图如下：实现方法用Python爬虫对现有的api进行请求，获取彩虹屁，然后用tkinter模块形成一个可视化的gui，最后用pyinstaller对该py文件打包，这就是最后的彩虹屁生成器。编写代码1、首先对api发起请求，获取彩虹屁def caihongpi(): url = 'https://chp.shadiao.app/api.php' headers = { 'user-agent':'Mozilla/5.0 (Windows NT 10.0; W

一、前言近期热播电影《八佰》，‘1937年淞沪会战的最后一役，“八百壮士”奉命坚守上海四行仓库，以少敌多顽强抵抗四天四夜。电影《八佰》由管虎导演，是亚洲首部全片使用IMAX摄影机拍摄的商业电影，将于2020年8月21日全国影院上映。’，豆瓣影评7.7分，今天我们用爬虫的方式，将豆瓣影评中的每位评价的星级爬取下来，最后再用cutecharts数据可视化，来看看这部电影是否值得观看。二、分析网站豆瓣影评部分，可以说是最基础的爬虫了，无任何反爬手段，我们需要的数据都在源代码之中，这里我通过xpath语法直接

转眼又到了咱们中国传统的情人节七夕了，今天我通过爬取微博七夕超话的内容，来看看七夕这天大家都在干什么这边我们选取微博的手机端页面进行爬取，因为比网页端简单些，通俗易懂。从这个入口进入详情页面。（1.7万单身狗）接下来就是对网页的抓包了，还是老套路，很容易获取我们需要的内容。代码非常简单，这边就不放上来了。我将数据保存到了csv文件中，从昨天晚上12点到今天的下午4.30，我一共抓取到990条微博。为了清晰的看出大家在七夕这一天做什么，我讲这些微博纸做成了词云图其中，孤寡、单身、青蛙等关键词

通过抓包的方式，很容易就能实现效果图如下（侵删）