笔记 - 汽车之家的反爬手段

最新推荐文章于 2025-07-03 18:46:03 发布
原创 最新推荐文章于 2025-07-03 18:46:03 发布 · 2.8k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#汽车之家 #反爬

本文介绍了如何应对汽车之家网站的字体反爬策略。通过分析网页源码，发现自定义字体myfont导致爬取的文本不全。通过下载ttf字体文件，使用Font Creator查看编码，发现中文文字被重新编码。利用fonttools Python库解析字体文件，动态替换字符编码，最终实现对js渲染后文本的正确爬取。

一、字体反爬

方法转自：汽车之家字体反爬破解实践 - 谢俊杰的文章 - 知乎 并稍加修改（更换要爬的页面，python2改为python3）

    假如我们要爬这个页面https://k.autohome.com.cn/detail/view_01c5wa2g3h64wk0e1p6mwg0000.html


如果我们直接爬，得到文本会是下面这样

【最满意】\nDS这车看，属于颜涵类型，独特法系设计，形感……

仔细看的话会发现爬回来的文本少了很多字。那么我们第一个想到的必然是JS渲染，不过渲染过后爬回来的文本却是下面这样（其实我在pycharm的控制台中看到的还是上面那样，但复制到这里就会是这个样子）：

【最满意】\nDS这车看，属于颜涵类型，独特法系设计，形感……

我们审查元素


发现是这个span标签搞的鬼

<span style="font-family:myfont;"></span>

最低0.47元/天 解锁文章

200万优质内容无限畅学
Python爬虫入门教程 64-100 反爬教科书级别的网站-汽车之家，字体反爬之二
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
04-27 2万+
说说这个网站 汽车之家，反爬神一般的存在，字体反爬的鼻祖网站，这个网站的开发团队，一定擅长前端吧，2019年4月19日开始写这篇博客，不保证这个代码可以存活到月底，希望后来爬虫coder，继续和汽车之间对抗。 优快云上关于汽车之家的反爬文章千千万万了，但是爬虫就是这点有意思，这一刻写完，下一刻还能不能用就不知道了，所以可以一直不断有人写下去。希望今天的博客能帮你学会一个反爬技巧。 今天要爬去的网...
Python爬虫实战：利用Selenium与反反爬技术高效爬取汽车之家车型数据
2201_76125261的博客
06-28 735
汽车之家作为国内领先的汽车垂直网站，拥有丰富的车型数据。本项目将使用Selenium结合多种反反爬技术，高效爬取汽车之家的车型数据，包括基本信息、参数配置、价格等。
Python反反爬教科书级别教程：汽车之家，字体反爬解密！
Python_kele的博客
07-16 1421
说说这个网站 汽车之家，反爬神一般的存在，字体反爬的鼻祖网站，这个网站的开发团队，一定擅长前端吧，2019年4月19日开始写这篇博客，不保证这个代码可以存活到月底，希望后来爬虫coder，继续和汽车之间对抗。 优快云上关于汽车之家的反爬文章千千万万了，但是爬虫就是这点有意思，这一刻写完，下一刻还能不能用就不知道了，所以可以一直不断有人写下去。希望今天的博客能帮你学会一个反爬技巧。 今天要爬去的网页 car.autohome.com.cn/config/seri… 我们要做的就是爬取...
国内如何下载谷歌浏览器（chrome浏览器）历史版本和chromedriver驱动，长期更新，建议收藏
最新发布
2508_92103080的博客
07-03 7807
众所周知，google是一直被国内屏蔽的，有时候想要下载个chrome浏览器都要去外网，或者到处去搜索才能下载到。因为下载chrome浏览器的这个网址：google.com/chrome/在国内是一直被屏蔽掉的。今天主要讲解的是国内ChromeDriver的下载教程，包括确认浏览器版本、ChromeDriver驱动的下载，同理，这个教程同样适用于windows版本的，linux 版本的， mac版本的。
汽车之家汽车详细参数之css反爬
shiguanggege的博客
06-30 3626
嘿哈，本人呢也很喜欢车，只不过买不起，哈哈哈 穷人一个 我呢就经常去汽车之家看一看我喜欢的那些车，看看配置啥的，有一天我就想吧这些数据都爬下来（手痒痒了啥都想爬一下，哈哈） 就开始了我的掉头发之旅 确定要爬的网页 奔驰s级参数配置表 汽车之家很是很良心的 ，给你做了很详细的配置对比 查看数据加密方式 css加密（仅限本网站）其实不是css文件搞得鬼，是一段js，首先找到js数据 用正则吧数据取出来（不止一段js） js_list = re.findall('(\(function\([a-zA-Z
《汽车之家》字体反爬之论坛、问答、文章(新闻、车家号）及其评论爬取
阿优乐扬的博客
02-07 5600
1、汽车之家论坛 1.1、分析网页构造 1.2、获取网页源代码 1.3、用户随机代理 1.4、字体替换 1.5、爬取论坛链接主题链接 1.5.1、构造论坛首页翻页链接 1.5.2、爬取论点链接 1.6、实现评论内容翻页 1.7、大功告成，附上源码 2、汽车之家问答 3、汽车之家新闻 3.1、新闻内容 3.1、新闻评论 4、汽车之家文章 4.1、爬取所有文章的链接 4.2、判断新闻和车家号 4.3、车家号文章 4.4、代码汇总 5、结果汇总截图
冰河的渗透实战笔记-冰河.pdf
05-18
冰河整理的全网首个开源的以实战案例为背景的渗透实战笔记，全书共442页，共计37万字（不计空格）。整本书的内容涵盖：Kali基础、渗透工具、木马制作、钓鱼链接生成、爆破密码、内存溢出攻击、web渗透、数据提权、...
Python爬虫六：字体反爬处理（猫眼+汽车之家）-2018.10
热门推荐
老王の博客
10-04 2万+
环境：Windows7 +Python3.6+Pycharm2017 目标：猫眼电影票房、汽车之家字体反爬的处理 ---全部文章： 京东爬虫 、链家爬虫、美团爬虫、微信公众号爬虫、字体反爬、Django笔记、阿里云部署、vi\vim入门---- 前言：字体反爬，也是一种常见的反爬技术，例如猫眼电影票房，汽车之家，天眼查等网站。这些网站采用了自定义的字体文件，在浏览器上正常显示，但是爬虫抓取下...
大数据项目之反爬随堂笔记.pdf
06-20
由于大数据项目之反爬随堂笔记涉及的知识点繁多，我将分几个方面来详细介绍。 首先，我们需要了解反爬项目的背景。在如今的信息时代，各大售票网站提供购票查票服务，吸引正常用户的同时也吸引了大量的爬虫用户。...
爬虫进阶 -- 爬虫相关定义、反爬机制及其破解
_天涯__的博客
08-18 2124
经历了好几个小爬虫项目的“摧残”，我想着不能白做，于是有了这篇文章。 什么是爬虫和反爬虫 爬虫：使用任何技术手段，批量获取网站信息的一种方式。 反爬虫：使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。 Headers相关概念
python爬虫笔记五：汽车之家贴吧信息（字体反爬-动态映射）
bestyellow的专栏
08-20 1763
学习网址： https://jia666666.blog.youkuaiyun.com/article/details/108974149 ----------------------------------- 以下是一步一步的学习过程 目的 获取汽车之家贴吧的内容信息 详细需求 汽车之家贴吧:https://club.autohome.com.cn/bbs/thread/1f05b4da4448439b/76044817-1.html### F12获取目标信息-进行分析 存在爬虫字体，根据.
汽车之家爬虫
03-27
汽车之家车型参数口碑及论坛爬虫 整合参考了一些git上的其他爬虫，汽车之家板块改版比较多，另外会有js混淆，比较麻烦。只保存成txt，后续用java处理的。不过格式都比较清晰
爬虫之字体反爬（三）汽车之家
DataCastle
12-07 1515
今天为大家带来的是字体反爬的另一个案例，汽车之家。与之前不同的是，这里是对汉字的处理。具体来看下面的分析与代码。 首先参考的网站：https://club.autohome.com.cn/bbs/thread/1f05b4da4448439b/76044817-1.html#%23%23 从网站中可以观察到，它的反爬是这样的：   再从网页源码中观察，发现又是这样的： 寻找它的字...
字体反扒 ---汽车之家（文字）
weixin_43145520的博客
05-06 1433
上面讲的猫眼电影例子，是编码变化，但是字体形状不变，网上也有很多介绍的文章。而汽车之家的字体反爬，不仅是编码变化，而且是字体形状也有变化。就是说对象本身变化，不能再直接用比较对象的方法处理。网上搜也是基本没什么好的解决办法，有一种是用OCR识别，这个当然可以。下面介绍一种博主自己摸索的方法，简单试了下应该是ok的。 先看问题，打开汽车之家论坛的一篇文章，https://club.autohome....
Python爬虫：字体反爬处理（猫眼+汽车之家）-2018.10
键盘的起始页
11-22 1545
环境：Windows7 +Python3.6+Pycharm2017 目标：猫眼电影票房、汽车之家字体反爬的处理 —全部文章： 京东爬虫 、链家爬虫、美团爬虫、微信公众号爬虫、字体反爬、Django笔记、阿里云部署、vi\vim入门---- 前言：字体反爬，也是一种常见的反爬技术，例如猫眼电影票房，汽车之家，天眼查等网站。这些网站采用了自定义的字体文件，在浏览器上正常显示，但是爬虫抓取下来的数据要...
python爬虫小案例——汽车之家
笨笨轻松熊的博客
04-21 3896
为了更深入的学习爬虫，今天来了解下bs4的使用和实践，当然解析网页不止只有bs4的BeautifulSoup可以做到，还有xpath语法和正则表达式。本期是初步的了解BeautifulSoup模块的使用，欢迎初学者学习本期内容。这里需要注意的是使用bs4语句获取的标签内容是bs4的类型，不是列表类型，所以使用了强制转换成列表【list()】.拓展：目标网站结构改变。
汽车之家口碑数据的爬虫
zz153417230的博客
12-19 8614
前言 很多人还是私信问我汽车之家口碑的问题，所以决定在写一篇汽车之家口碑的爬虫。 本着“授人以鱼不如授人以渔的原则”，我大体说一下思路吧，不提供完成的代码了。 正文 一，爬虫都是具有时效性的，我不知道反爬虫什么时候更新，所以失效以后，除非工作需要，否则我也一般会维护。 二，移动客户端网页一般比电脑的网页更好爬取，所以这次可以用汽车之家口碑的移动端网页，用电脑网页也可以，但是 需要在
WOFF字体反爬之易车网
u013738666的博客
12-25 956
前言 易车网链接：http://dianping.bitauto.com/sid_2384/koubei/2557927641943680 该页面评价加载了WOFF字体，在审核元素中查看，发现个别汉字无法正常显示，由此可推测该WOFF文件中，只有少数常用汉字被单独编码了。 审核元素中无法正常显示的字，在源码中显示为“”格式，该格式为unicode编码。 正文 字体文件下载地址：htt...
汽车之家论坛评论全面采集实战指南：Python爬虫篇
zhou6343178的博客
07-01 2631
在进行网络数据采集时，务必遵守相关法律法规及网站政策，尊重数据所有权。正确使用爬虫技术，不仅可以为个人学习和研究带来便利，也能为企业提供宝贵的数据支持。希望本文的分享，能帮助你在汽车之家论坛数据采集之路上迈出坚实的步伐！
MIT线性代数公开课笔记-行图像与列图像解析
“线性代数-笔记.pdf”是麻省理工学院教授Gilbert Strang的线性代数公开课笔记，涵盖了线性代数的基础知识，包括矩阵理论、方程组、向量空间、行列式、特征值、相似矩阵和正定矩阵等内容。 线性代数是数学的一个...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值