梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者

学习爬虫，看这一套Python爬虫专栏旧可以了如果还想学其它的，那看兄弟专栏《爬虫100例》

在这些领域中，Python 爬虫可以帮助开发者快速地提取有用的信息，并将其转换为有价值的数据。Python 爬虫是一种非常强大的爬虫工具，可以帮助你抓取网络上的数据。首先，Python 爬虫能够支持多种协议和数据格式，比如 HTTP、HTTPS、FTP 等等，能够轻松地抓取各种网络资源。：Python 爬虫可以帮助开发者从大量网络数据中提取有用信息，比如新闻、图片、视频等等，并将其转换为有价值的数据。其次，Python 爬虫还支持多线程和多进程，可以提高抓取的速度和效率。

周末不休息，更文！

实操下来的经验总结，值得一看

爬虫百例专栏连载已经结束，欢迎订阅100 篇爬虫文章合计 29.9 元，每篇只需 2.9 毛钱最新弄到一本不错的书《中国妖怪故事（全集）》，忽然想到做一个收集整理中国妖怪的网站应该挺有意思的，故得此文。对于编写爬虫，很多时候找到一个目标网站，然后对该站点进行分析，总会找到一种途径获取到你想要的数据；

在这里一代数码彻底结束了。对来说这里我童年最好的回忆。看到最后一幕感同身受的人一定很多。陪伴了自己从小到大的数码宝贝离开了他们而这次的离开意味这彻底结束在这个数码世界里带给我们热血、激情还有感动更多的是悲伤......因为数码宝贝， 我们才有了童年。因为数码宝贝， 我们才有了对童年的追忆所有和我们同龄的人都仍然记得数码宝贝并且印象最深的还是第一部， 那永远的第一部！因为数码宝贝， 我才来到了这里，说出了我的心声光叔那那永远激动人心的旋律，那耳熟能详的旋律在跳跃的音符中已经完成进化

四有青年，有情、有趣、有用、有品必会技能之 Python 爬虫。

9139 位艺人，一次性抓取到本地，然后可以慢慢分析，本案例中会涉及很多颜值极高的艺人。

用Python抓取中药材数据，多认识几味中药吧。

本篇博客主要用于介绍 `requests` 库的 `post` 请求方式，顺带着给大家写了一下 cookie 的一般获取方式，这里要提醒一句在爬虫编写的过程中，开发者工具中的查找是经常用到的，尤其是在解决 JS 加密问题的时候。

送给宝妈程序媛的 福利，育儿网数据抓取，育儿数据本地存储，查阅省时省力省流量。python 爬虫小课

如果找不到目标网站怎么办，可以曲线通过其他网站提供的数据再爬取~

Python爬虫小课，初代宝可梦151只都背下来的我，却倒在了元素周期表上面，爬虫促进学习

本篇博客是《爬虫120例》的复盘案例更新，原文为《技术圈的【多肉小达人】，一篇文章你就能做到》，案例出了一点小小问题，网站没了，很尴尬此时就需要我们的爬虫训练场出马了，谁叫咱的口号是 让天下没有失效的爬虫 呢！

x-ca-key、x-ca-nonce、x-ca-signature 相关说明寻找 x-ca-key、x-ca-nonce、x-ca-signature 加密位置提取关键加密逻辑X-Ca-Key 解析x-ca-nonce 解析x-ca-signature 解析

本篇博客在 [请求头 x-ca-key、x-ca-nonce、x-ca-signature 加密分析第一篇]在上一篇博客我们已经捕获了参数的JS代码，这篇博客重点要将其在 Python 中进行复现，即使用 Python 重新编写参数逻辑。 x-ca-nonce 代码实现

python 爬虫系列教程，2023 年国内最系统+最强（本阶段完结）

住宅 IP 地址是与物理设备绑定的 IP 地址，与动态 IP 不同，服务器会将住宅 IP 识别为真实的人，安全性和稳定性更高，也由于该原因，我们可以将自己的位置变为世界各个国家地区的家庭地址，从而实现从指定位置访问目标站点，避免地理限制。如果你用了住宅代理 IP，玩游戏都能解除锁区限制。为什么要用住宅代理。.........

原案例中的站点站长已经不运营了，所以沦为了广告站，对于我们学习来说就非常不友好了，所以咱们更新一下本案例，使用的所有技术都是原文内容，在学习的时候，可以对比进行学习。案例用到的 Python 第三方库是 和 ，代码基于面向对象编码方式进行编制。本次目标站点的分页规则如下所示，（网站地址请看前文说明部分）通过判断下一页按钮是否存在，来判断是否为最后一页。首先获取所有列表页地址，代码如下，关键步骤都写在注释中。生成所有目标页面之后，就可以获取列表页中的详情页地址，代码如下。详情页获取完毕，最后一个步骤

最近收到 C 友反馈，说 《对 Python 爬虫编写者充满诱惑的网站,《可爱图片》》 这篇博客的目标图片站，已经不能使用了，橡皮擦查阅之后，发现是对方的图片源出了问题，可跟咱一点点关系都没有。但是对我们专栏的订阅者可以有影响的，毕竟我们要学习的知识缺少了这么一块，有点不完美了。正因如此，我们做一下本案例的升级，（如果你在订阅之后，发现其它站点出现类似情况，一定第一时间联系橡皮擦，每个爬虫都质保 5 年）版权声明：本案例涉及所有内容仅供学习使用，请勿用于商业目的，如有侵权，请及时联系。

本篇博客又是一个 Python 爬虫实战，目标站点时作文吧，一个充满作文的站点 zuowen8.com，由于其站点有那么一点点的付费需求，所以有一名爸爸级开发工程师不开心了，决定写一个小小的爬虫，他要的不多，就是一年级那一点点作文。之后，编码依旧错误，此时就需要查看一下网页源码中的具体编码设置了，打开开发者工具，查看源码编码，发现网站采用的是。打开一年级作文列表页，页面如下所示，接下来要完成的第一步就是采集这个列表页的数据。链接获取完毕，需要将其进行拼接，得到详情页完整地址，使用。

本篇博客是一个小小的 Python 爬虫实践，重点为解释在 Python 爬虫实战过程中，浏览器的开发者工具和代码抓取的网页源码，存在数据差异。翻译一下就是开发者工具和爬虫采集到的源码，不一样。本次案例来源为专栏订阅者，5 年保爬虫更新。⚡⚡ 学习注意事项 ⚡⚡文章会自动省略http和https协议，学习时请自行在地址中进行补充。目标站点域名为uisdc.com，在下文统一用橡皮擦代替，学习时请自行拼接。

打开本文，相信你确实需要一个免费且稳定的图床，这篇博客就让你实现。

加密参数，此时就比较麻烦了，因为我们没有办法进行调试，如果该参数需要解析，那还面临小程序解包这一问题，不过后续的实际分析，让我松了一口气，该参数并未参加运算。找到下述路径的文件夹，然后清空该文件夹，接下来重新启动微信，此时就可以获取小程序中的 https 请求了，效果图如下所示。如果仅有这些参数，此时可以在一空白谷歌浏览器中进行迭代，即判断是否可以直接通过题号切换，获取所有试题。题目获取成功，得到题干，选项，解析，包括试卷题目总数等信息，有这些数据之后，就可以进入编码实战环节。...

写到这里，该小程序已经对我们已经没有秘密可言了，剩下的就是简单的 Python 代码处理数据了，本文的重点应放在小程序解包与反编译上，如果掌握了本部分内容，后面所有的小程序都可以使用相同的手法解决，拿它的接口。

文章目录⛳️ 实习 实战场景 僧⛳️ 实习 实战编码 僧⛳️ 实习 实战场景 僧本篇博客继续学习字体反爬，涉及的站点是实习 x，目标站点地址直接百度搜索即可。

本次字体反爬案例对应的是【易车】点评频道，该站点使用了字体反爬技术，并且是中文字符反爬，可以重点研究下。站点地址如下所示（全角字符）打开目标站点任意链接之后，可以通过开发者工具发现，其文字部分存在大量的混淆字符。既然已经发现了字体混淆，那接下来我们再夯实一下字符矢量图相关知识，下载易车的一个字体文件。字体文件是通过 unicode 编码，然后对应字体文件。浏览器实现原理是通过传递字符的字节码，转换成 unicode 编号，然后在字体文件中找到字体矢量图，如果没有字体文件，会在系统自带的字体中寻找矢量

本次采集的目标站点为 ，首页截图如下所示。在官网找到【黄x页】选项卡，然后得到如下界面，其中涉及的信息如下，随机找到一个公开数据。在公司黄页详情页可以查看到联系人和联系号码。这里明显看到手机字体与其它字体有所差异，通过开发者工具进行验证之后，确定存在字体反爬。保存字体文件，得到下述字体矢量图。结果字体的编码是固定的英文，那这字体反爬的难度就变的极低了。通过开发者工具可以找到字体文件在网页源码中，所以我们编写一下相关提取代码。得到字体之后，保存的 XML 文档如下所示。本案例已经结束。......

本文所有MHG使用 MHG 替代~无障碍阅读版本请参考：https://www.cnblogs.com/happymeng/p/16441870.html本次爬虫采集的案例是MHG，该站点貌似本身就游走在法律的边缘。站点地址直接检索即可进入，在该目标站点，橡皮擦发现了 eval 加密的双重用法。页面所有点位都无太大难点，而且漫画超多，但是当点击详情页的时候，发现加密点位了。其中比较关键的就是参数 ，其余参数都比较容易猜到其含义。通过开发者工具的 DOM 事件绑定器，找到下一页按钮点击事件，然后在下述位置添

本次要采集的目标站点是 ，其数据详情页有公开的联系电话，页面采用前台 JS 加密，测试时原以为是字体反爬，结果不是。随机打开二手市场的某条数据，我们又看到了熟悉的手机号码，然后快速的切换到了开发者工具的字体选项卡，结果什么都没有抓取到。呈现效果如下所示，可以看到网页源码并没有返回任何数字相关信息，但是有一个 映入眼帘，这么明显的加密提示吗？由于加密信息在 HTML 元素的属性中，所以直接检索关键字 即可。首先将加密字符串提取一个，用作测试搜索之后得到如下解密代码：其中发现了一个关键点，即通过 ，截

历经 10 篇左右的 Python 字体反爬系列文章，我们又进入了一个新的主题，常见混淆加密原理与实践。本篇博客从 混淆开始，逐层为大家拆解 JS 逆向中混淆相关知识。eval 函数可以将 JS 字符串解析成源码执行加密前加密后可以看到加密之后的代码变得更加复杂，并且可读性变弱。在 JS 中， 函数本身就是一个 JS 代码执行器，它可以将传入的字符串按照 JS 语法进行解析并执行。该形式代码最常见的场景就是百度的统计代码，具体案例你可以寻找一下。本次我们要采集的站点是电视猫，目标地址为：。在该页面点击

本次要采集的站点是某供应商平台，域名如下所示：这次要采集的是公开的电话号码，注意是公开的，不是隐私数据哦~通过开发者工具得到上图所示内容，仅数字部分进行了字体反爬。字体文件分析在网页源码寻找字体文件相关内容，得到的结果如下图所示。而我们下载字体文件，打开发现并不是一个固定的字体文件。该文件中仅包含了号码中存在的数字，再次打开一页详情，查看其字体文件。每次刷新之后，得到的字体文件和编码全部不同，本案例难度就提高了一点点。通过 模块加载字体文件，分别解析两个文件，对比数字一的矢量图部分内容，

本次要采集的目标站点为 。月票榜单的数字为特殊字体，并且 看起来为一个加密字符串。测试之后发现，字体样式恰好是字体文件名称，并且每次刷新都会发生变化。下载字体矢量图之后，查看编码发现只是简单的中英文对照关系。接下来获取网页源码，然后尝试提取其中的字体文件。得到的字体文件如下所示。其实到这里本案例已经结束了，当你获取到字体文件只有，可以对其进行存储与解析。......

查策实战场景本次要采集的目标站点是查策，该测试站点如下所示。该站点的新闻资讯类信息很容易采集，通过开发者工具查看了一下

本次字体反爬的目标场景是：乐居，地址如下所示：以上页面是随机打开的，你可以选择自己的城市进行测试。使用开发者工具，先找到对应的数字，查看是否所见即所得。很明显的一个字体反爬，数字由 8733 转变为 7100 ，既然已经发现是数字产生了变化，那接下来的事情就非常容易了。我们抓取一下字体文件，查看其内部具体包含哪些字体编码。结果发现字体文件竟然是已字节流形式写到了前台，这样我们后续获取字体文件，就转变成了字节读取与解析。通过工具查看字体文件之后，发现除字体外，还存在一些中文字符被替换的情况，我们在页

webpack 原理说明扣JS代码webpack 是前端程序员用来进行打包JS的技术，打包之后的代码特征非常明显，例如下述代码。

本次实战目标站点为 ，随机寻找一门课程点击播放，然后通过开发者工具获取视频文件地址。这次我们测试的的课程 ID 与地址为：，你可以选择其它的，重点是用工具捕捉到 文件。请求网址: https://www.ichunqiu.com/video/info/338.m3u8?type=2请求方法: POST请求表单数据如下所示：其中出现了第一个加密参数 ，首先从其入手。编写简单的测试代码，竟然出现了招聘启事。问题应该出在 参数，下面就通过断点分析该值，目测上猜测应该是 。断点调试，得到加密关键点代码如

文章目录实战场景JS 文件本地化体验在前一篇博客 Python爬虫，JS逆向之 webpack 打包站点原理与实战 中我们再次理解了一下 webpack 相关信息，本篇博客我们在为大家说明一下。如何通过 fiddler 替换目标站点的JS 为本地版本换句话描述其场景是，让目标站点某些JS文件访问本地修改版。

本次采集的案例是点起中文，你可以随机打开一本目标xiaoshuo，检查一下网络请求中是否存在字体文件响应数据。

本次要分析的站点是 ，一个律师群体常去的站点，作为一个爬虫工程师，这简直是送自己去喝茶。该站点反爬手段特别多，分析起来也特别有趣。打开开发者工具，无限 debugger直接行号处右键一律不在此处暂停字体反爬切换到 Elements 视图，很容易就发现了字体反爬的存在。由于我们之前的博客涉及了大量字体反爬内容，本文就不在展开说明了。控制台清空接下来还出现了一个小细节，该站点在不断的执行清空控制台数据操作，也就是它不让你进行控制台测试。这一点反爬也很容解决，使用下述代码即可。...