爬虫
关注
分享
扫一扫
文章平均质量分 68
Caaacy_YU
联系邮箱：yu_haojia@foxmail.com
展开
-
爬虫漫游指南：浏览器指纹
最近深入阅读了瑞数的源码，发现瑞数收集了很多浏览器的特征信息，这部分源码对了解浏览器具有很高的学习价值，为此整理了这些特征信息，并尽可能还原了可读可用的代码来获取这些信息。本文测试环境为Chrome、Firefox和IE。原创 2021-06-30 11:04:16 · 2903 阅读 · 7 评论 -
爬虫漫游指南：瑞数的反调试陷阱
遇上有反爬的网站，第一反应肯定是要先打开开发者工具调试一波，于是，反爬工程师们就在此处设下了第一道防线。初级一点的，例如监听F12，禁用鼠标右键，作为防线的一部分，这些小伎俩顶多就算个路障吧，成不了气候。真正能够搭建防御工事，形成火力网，还得靠debugger。原创 2019-12-20 11:10:21 · 12666 阅读 · 12 评论 -
爬虫漫游指南：聊聊极验（Geetest）
上至政务类网站国家企业信用信息公示系统，下至娱乐类网站斗鱼战旗龙珠，都可以看到极验的身影。于是，如何绕过极验自然成为了许多爬虫小伙伴不得不面对的问题。本文就来聊一聊，爬虫遇到用极验的网站，该如何是好。原创 2019-12-14 16:26:02 · 12802 阅读 · 6 评论 -
爬虫漫游指南：无头浏览器puppeteer的检测攻防
许多爬虫初学者在接触到无头浏览器的时候都会有一种如获至宝的感觉，仿佛看到了爬虫的终极解决方案。无论是所有爬虫教程中都会出现的PhantomJS、Selenium，亦或是相对冷门的Nightmare，到后来居上的Puppeteer，都能够作为爬虫工程师的利刃，撕开反爬的一道道屏障。无头浏览器难道就是爬虫的终点了吗？原创 2019-11-19 16:42:03 · 23811 阅读 · 9 评论 -
爬虫漫游指南：加速乐__jsl_clearance破解
本文会介绍加速乐cookie中的__jsl_clearance的生成方式。纯粹技术讨论，如果侵害到任何人的利益，请联系本人邮箱yu_haojia@foxmail.com，会立刻删除。原创 2019-09-30 12:11:16 · 8049 阅读 · 0 评论 -
爬虫漫游指南：消息队列（2） — RabbitMQ
消息队列（2） — RabbitMQ原创 2019-07-25 14:49:40 · 1235 阅读 · 2 评论 -
爬虫漫游指南：HTTP/2 网站爬取
最近写爬虫的时候遇到了一个用HTTP 2.0协议的网站，requests那套老经验在它身上不好用了，得专门针对HTTP 2.0进行开发。因为与HTTP 1.x的爬虫颇有区别，所以写篇文章记录一下。考虑到大多数读者应该更关心实践操作，所以本文会采取倒金字塔结构，首先介绍HTTP 2.0的爬虫代码该怎么写，然后在慢慢讲解HTTP 2.0的基础理论知识。原创 2020-05-16 14:53:40 · 6142 阅读 · 5 评论 -
爬虫漫游指南：爬虫知识图谱
大致总结了一下学习爬虫需要点亮的一颗技能树，可能有些还没想到的，之后会更新补充。原创 2022-10-26 17:26:14 · 968 阅读 · 0 评论