爬虫 解析 加密字体 例子58 同城

最新推荐文章于 2024-12-27 14:41:36 发布
最新推荐文章于 2024-12-27 14:41:36 发布
阅读量3.5k 收藏 9
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 爬虫 加密字体
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/DzzzzzZzzzz/article/details/83473967

一些网站 会将部分内容进行加密，防止爬虫简单的获取到信息
最近 在爬取58同城的品牌公寓时 遇到租房信息里的价格 爬下来是看不懂的字体

在这里插入图片描述
一些数据在浏览器里面显示是正常的, 但是渲染前和渲染后的html源码都看不到字体, 渲染前看到的是16进制的4位字符, 渲染后看到的是一些方块.
然后分析了一下网站的源码，发现他是由base64 加密之后生成的字体
在这里插入图片描述
那我们就可以通过正则匹配出来进行处理
首先在html源码里面找到woff字体的base4编码, 保存成”font.woff”字体文件, 用fontTools库将这个字体文件存储为”font.xml”文件.
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
然后在xml里面找到TTGlyph字段, 这个字段下面的 子字段都是用来画字符(包括中英文数字)的坐标. 同一个字符的坐标是一样的. 解析xml, 然后把这些坐标的属性字典按顺序都存到一个list里面, 然后序列化成json(加sort_keys=True参数)字符串. 用这个字符串当key

最低0.47元/天 解锁文章

200万优质内容无限畅学
字体加密反爬虫通用解决方案（Python版本）
吴秋霖的博客
03-01 2436
使用ocr识别技术还原字体加密文字
Python爬虫-破解字体加密技术
最新发布
Python进阶专栏《爬虫实战进阶》，《Pyppeteer从入门到精通》原创作者
02-23 1482
本文是该专栏的第77篇，后面会持续分享python爬虫干货知识。字体加密是一种常见的反爬虫技术，通过自定义字体文件和字符映射来保护网页内容，防止爬虫直接获取文本信息。而本文，笔者将针对“如何解决目标平台的字体加密技术，并获取目标数据”，进行详细介绍一种“通用型字体反爬策略”。废话不多说，具体细节部分以及详细思路逻辑，笔者将在正文结合完整代码进行详细说明。（附带完整代码）
pyhton爬虫（简单过字体加密）
qq_45664532的博客
05-15 850
1. 找到反爬内容确定字体存放位置 定位到正则匹配 import re from fontTools.ttLib import TTFont import requests headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36 Edg/101.0.1210.39
python-爬虫-字体加密
叽里呱啦的一大摊，人生太艰难.
03-01 2429
读取文件找到里面的对应关系,就是 你这个数字的格式 是存储在.ttf文件里的.具体网址格式就是这样的但是为了安全起见,我就这样打码了.这上面进行申明了告诉了我们这个是字体。为什么用webdriver,因为。,然后就是那下来然后生成文件.
从头学习爬虫（四十五）高阶篇----字体加密
qq_36783371的博客
08-06 646
本文主要帮助解决字体加密的反爬虫策略 一 需求 https://www.china.cn/buy/4432149572.html 二 分析请求 页面展示 显然是字体进行了加密，然后打开字体和其他看看有没有加载字体的资源文件，发现没有。 看响应内容 可以发现一个base64的字体文件。 三 实操 首先把base64转成文件 //BASE64解码成File...
Kettle入门操作处理excel数据
July的博客
09-19 3766
kettle入门操作一：实现对excel表格转换 实验要求： 用Kettle完成下列实验，结果存储到MySql(或者CSV) 已知excel文件，包含列（姓名，年龄，身份证号码，性别，挂号日期时间，门诊号），数据若干(自己模拟) 生成数据1，包含列（日，性别，儿童/青年/中年/老年,人次），儿童/青年/中年/老年的年龄段自己定义 生成数据2，包含列（省份，hour,人次） 生成数据一转换流程图如图所示 excel输入模块 选择excel文件，并添加，然后获取工作表，获取来自头部数
python爬虫解决字体加密问题
不会算法的小白的博客
08-08 2039
代码的主要思路是，先下载一个woff文件，转化成xml，然后找到标签，使用flags方法获取中每个字体的on属性，将on属性的b'\x01'进行替换成空字符串，只留下b'\x00'更能提高准确性，声明一个字典，将字体和on属性进行key-value映射，制定一套模板，后续请求的woff文件进行循环遍历字体的Unicode，和模板中的on属性进行比对，找到对应的字体。name里面的是字体的Unicode，x、y表示字体通过哪些坐标绘画成的，on的内容表示画的黑线还是白线。
爬取58同城，解决反爬字体加密解析问题
w_yuqing的博客
11-16 1893
【导语】我们在爬取数据中，会遇到字体乱码的下，其实是字体加密，本篇文章主要解决字体解密这种反爬方式。 1.在浏览器打开58同城网址进入北京租房 2.点击检查,找到房租价格对应位置,发现源码中价格部分是乱码,但是页面显示正常 3.得出结果这段代码是经过字体加密的 我们看到的如下： 那么，按F12查看源码，如下： 【解决思路】 字体加密一般是通过字体文件进行映射,所以我们只需要找到对应的字体文件,然后通过一些手段找到他们字体对应的映射关系就可以破解字体反爬 1、当我们发现字体反爬之后,首先可以找一下是通
python爬虫文字加密_涉及字体加密的爬虫分析
weixin_42348026的博客
12-23 2022
1.网页分析爬虫嘛，最主要还是先分析分析网页。首先，用谷歌浏览器打开“实习僧网站”，输入“数据挖掘”搜索，然后检查以下内容：网页的加载方式：发现是纯静态加载的，说明数据就在html文件里；如何翻页：通过观察发现网站是通过URL的参数“k”控制职位关键字，参数“p”控制页码，所以“数据挖掘”职位第一页的请求URL是“https://www.shixiseng.com/interns?k=数据挖掘&a...
破解字体加密，以58同城网站为例。
热门推荐
m0_37156322的博客
11-30 1万+
字体加密是爬取网页的过程中比较麻烦的问题。 字体加密一般是网页修改了默认的字符编码集，在网页上加载的他们自己定义的字体文件作为字体的样式，可以正确地显示数字，但是在源码上同样的二进制数由于未加载自定义的字体文件就由计算机默认编码成了乱码。 网站url:https://zz.58.com/pinpaigongyu/?utm_source=sem-baidu-pc&spm=1059161467...
Python爬虫之解决字体加密问题！字体加密确实难！
爬遍所有网站
08-10 2983
有些网站为了反爬，对网页中的一些数据进行了字体加密，用户浏览网页时显示的是正常的，但是爬取网页源代码时，却是乱码。 原因 页面在css中使用font-face定义了字符集，并通过unicode去映射展示，浏览器会加载css中的font字体为用户渲染好，所以浏览页面时是正常的，而对于爬虫来说却极其不友好，因为爬取下来的源代码未经过浏览器渲染，都是乱码。 解决办法 1. 查找到页面中的加密字体 font_face,常见的有两种情况 1.最简单的，直接在页面源码中搜索font_face,如果能找到类似如
【基础】【Python网络爬虫】【11.字体反扒】认识字体、字体加密（附大量案例代码）（建议收藏）
weixin_43612602的博客
01-01 3366
字体反扒 1. 认识字体 字体概述 2. 处理字体 3. 练习案例 - 某小说网址字体解密 3.1 请求数据 - 发现问题 3.2 下载字体文件 3.3 解析字体文件 3.4 替换字体 4. 字符串形式字体文件 4.1 请求数据 - 发现乱码 4.2 下载字体 4.3 解析字体 4.4 替换数据 5. 字体加密 5.1 请求数据 - 发现偏移量 5.2 构建字体映射规则 5.3 替换字体 5.4 多套字体
字体加密反爬虫通用解决方案（Python 版本）
数据精灵喵
12-27 1521
这些字体的字符形状与常规字体截然不同，即使爬虫抓取到了页面 HTML 代码中的文本内容，由于不认识这些特殊字体，也无法直接提取有价值的信息。例如，在一些电商价格页面，价格数字使用自定义字体，正常用户看到的是熟悉的阿拉伯数字，而爬虫获取到的可能是一堆乱码符号。例如，统计抓取文本中乱码字符的比例，若超过一定阈值（如 10%），就判定可能字体加密有更新。：用简单的爬虫代码尝试抓取网页文本，若抓取到的内容与肉眼在页面上看到的明显不符，比如抓取到的价格是乱码，而页面显示正常价格，那就基本能确定存在字体加密。
python 爬虫遇到字体加密解决方案(woff2) ddddocr + 百度ocr 文字识别
huagangwang的专栏
09-14 4718
爬虫遇到字体加密，字体解密。ddddocr + 百度ocr 文字识别
爬虫从入门到精通(21) |字体加密通杀方案
不愿意透露姓名的网友
11-30 4067
字体加密是页面和前端字体文件想配合完成的一个反爬策略。通过css对其中一些重要数据进行加密，使我们在代码获取的和在页面上看到的数据是不同的。前端人员通过使用font-face来达到这个目的，font-face是CSS3中的一个模块，他主要是把自己定义的Web字体嵌入到你的网页中。而font-face# 定义字体的名称。# 定义该字体下载的网址，包括ttf,eof,woff格式等我们要打开我们抓包一个字体文件，在Font那一列，复制这个url到浏览器就可以下载下来。
「Python爬虫」：破解网站字体加密和反反爬虫
梦子微信
08-02 3292
前言：字体反爬，也是一种常见的反爬技术，例如58同城，猫眼电影票房，汽车之家，天眼查，实习僧等网站。这些网站采用了自定义的字体文件，在浏览器上正常显示，但是爬虫抓取下来的数据要么就是乱码，要么就是变成其他字符，是因为他们采用自定义字体文件，通过在线加载来引用样式，这是CSS3的新特性，通过 CSS3，web 设计师可以使用他们喜欢的任意字体 ，然后因为爬虫不会主动加载在线的字体， 字体加密一般是网页修改了默认的字符编码集，在网页上加载他们自己定义的字体文件作为字体的样式，可以正确地显示数字，但是在源码上同
爬虫-------字体反爬
Dexter的博客
11-05 2194
爬虫-------字体反爬
反爬虫字体混淆
weixin_34068198的博客
12-07 496
Win7下的python: 通过amd64的二进制文件安装, 位置在 C:\Users\Milton\AppData\Local\Programs\Python\Python37\  安装pip3 C:\Users\Milton\AppData\Local\Programs\Python\Python37\Scripts\easy_install.exe pip 通过pip3安装fonttoo...
Python实现58同城招聘信息爬虫技术解析
在详细介绍基于Python的58同城招聘爬虫的知识点之前，我们需要了解网络爬虫的基本概念以及Python在这一领域中的应用。网络爬虫，又称为网络蜘蛛或网络机器人，是一种自动获取网页内容的程序。它按照一定的规则，自动...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值