应对字体反爬，通过python爬取小说排行榜

已于 2022-06-28 17:46:06 修改
阅读量2.2k 收藏 24
点赞数 20
CC 4.0 BY-SA版权
文章标签： python 爬虫
于 2022-06-28 17:28:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sagegrass/article/details/125506056
本文介绍如何改进Python爬虫，避免手动添加字体转换规则，通过fontTools库解析字体，建立数字与编码的对应关系，实现自动化爬取小说排行榜。利用lxml解析XML并进行16进制到10进制的转换，从而完成字体反爬的应对策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

需求分析

这个需求我昨天已经做过一次了爬取小说排行榜，昨天我采用的方式是手动建立一个转换规则，然后通过这个规则，将所有的看不懂的字体编码替换为正常的文字内容。功能上是满足了，但是需要有一步手动添加转换规则，而且每次运行程序都需要重新来一次，当然这是不能让人满意的

其中，在昨天的文章中，有一个小伙伴就指出了这一点，他说，既然已经做了爬虫程序了，就不应该再让别人手动添加规则了，问我能不能想想办法改进一下，变成直接运行程序就可以使用的

说句实话，这不太容易，毕竟字体是对方网站自己编辑的，如果不去手动添加规则的话，我们根本就没有办法知道他编辑的这个字体对应的是哪个字，也许有小伙伴会提议说，可不可以通过文字识别技术来做到这一点呢？是一个办法，但是不太容易实现，不过好在，这次我们的运气不错，找到了一个更容易的方法，这个方法不是每次都好用，但是恰好这次能用，那就先用着呗，下面来看看我们的新方法是什么

实现分析

具体的页面以及css的字体反爬是什么样的，在昨天的文章中我已经写的很详细了，今天我并不打算再重复一次。如果有没看过昨天文章的小伙伴，可以先看昨天的文章。那么就直接进入正题

昨天的最大问题在于，我们需要手动建立字体编码到对应文字之间的关系，事实上这一步确实也是有必要的，但是现在我们需要找到一个能够让机器找出这个规则的办法

首先呢，我们下载一个能够解析字体的第三方库fontTools，然后通过这个库，将woff的字体解析成xml的格式

from fontTools.ttLib import TTFont

font = TTFont("tmp.woff")
font.saveXML("tmp.xml")

然后我们去查看这个字体的map规则，发现运气很不错，字体的名字命名很规范，不是看不懂的文字，如下所示

最低0.47元/天 解锁文章

200万优质内容无限畅学
Python爬虫爬取纵横中文网月票排行榜前1000的小说
hzz0504的博客
04-17 4402
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 写的第一个爬虫程序，不足之处还请大佬斧正。 提示：以下是本篇文章正文内容，下面案例可供参考 一、python爬虫 利用python中的数据库进行网页信息的提取 二、使用步骤 1.引入库 代码如下（示例）： import urllib.request i.
Python爬虫使用lxml模块爬取豆瓣读书排行榜并分析
04-18 1620
上次使用了BeautifulSoup库爬取电影排行榜，爬取相对来说有点麻烦，爬取的速度也较慢。本次使用的lxml库，我个人是最喜欢的，爬取的语法很简单，爬取速度也快。 本次爬取的豆瓣书籍排行榜的首页地址是： https://www.douban.com/doulist/1264675/?start=0&sort=time&playable=0&sub_type= 该排...
爬取起点小说总排行榜
weixin_30598225的博客
07-06 1851
功能：在表格中按排名 显示小说名字 作者 类型 状态 简介和字数代码：import xlwtimport requestsfrom lxml import etreeimport timeall_info_list = [] def get_info(url): html = requests.get(url) selector = etree.HTML(html.text) ...
Python爬虫实战，requests模块，读书排行榜
weixin_43649691的博客
08-06 1169
今天为大家带来利用Python爬虫抓取读书排行榜，废话不多说。
python爬虫训练：爬取榜单信息
qq_23061539的博客
05-22 2126
一、创作背景 这学期的大作业是要根据这学期的学习内容做一个综合程序，这次是一个爬取酷狗音乐飙升榜单的信息，并下载下来。可以方便和我一样喜欢白嫖的人员免费下载音乐。 二、使用的库 主要使用了requests库、BeautifulSoup库用于爬取信息，pandas库用于将信息写入txt文件中，pyplot库和WordCloud库用于绘制词云。 三、设计概要 算法介绍 例化一个BeautifulSoup对象，并且将网页源码数据加载到该对象中，获取音乐名称、音乐时间以及音乐链接。 使用matplo
【python爬虫 系列】14.实战三 爬取实习僧
12-22
主要是字体反爬虫，逐一破解即可 #爬取实习僧 最新版本 import requests from bs4 import BeautifulSoup kv={"user-agent":'Mozilla/5.0'} def detail_page(url): req = requests.get(url,headers=kv) ...
python爬取旅游信息_python爬取全国13个城市旅游数据，告诉你那里最受欢迎
weixin_39670627的博客
12-13 1002
抓取数据通过请求https://piao.qunar.com/ticket/list.htm?keyword=北京，获取北京地区热门景区信息，再通过BeautifulSoup去分析提取出我们需要的信息。这里爬取了前4页的景点信息，每页有15个景点。因为去哪儿并没有什么反爬措施，所以直接请求就可以了。这里随机选择了13个热门城市：北京、上海、成都、三亚、广州、重庆、深圳、西安、杭州、厦门、武汉、大连...
python爬虫字体反爬--FontMap
m0_56362386的博客
10-11 1557
python字体反爬，FontMap库使用
python爬取晋江小说排行榜_【含代码】Python爬虫实战：爬取全站小说排行榜
weixin_39779928的博客
02-10 5726
作者：黑黄条纹的野喵简书专栏：https://www.jianshu.com/u/7cabd1cbad0d喜欢看小说的骚年们都知道，总是有一些小说让人耳目一新，不管是仙侠还是玄幻，前面更了几十章就成功圈了一大波粉丝，成功攀上飙升榜，热门榜等各种榜，扔几个栗子出来：新笔趣阁是广大书友最值得收藏的网络小说阅读网,网站收录了当前......我就不打广告了(其他满足下文条件的网站也行，之前已经有做过简单爬...
Python爬虫教你爬取csdn作者排行榜
qqshenbaobao的博客
01-18 1687
安装好驱动(以前的selenium文章有教程),然后进行元素定位，最后数据提取，用xls表格进行持久化存储利用基本方法发起请求，获得json数据进行持久化存储本篇文章先讲解第二种，后续出第一种方法对比网页源代码及网页数据，发现源代码中不含所需数据，因此利用抓包工具获取ajax请求进行链接获取 链接:https://blog.youkuaiyun.com/phoenix/web/blog/allRank?page=1&pageSize=20 参数page为第几页 参数pageSize为一页展示的个数 两个参数都可以手
小说网站总榜上的小说你都看过吗？爬取总推荐排行榜所有小说
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
10-07 592
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 一、相关环境配置 python 3.6 pycharm requests parsel 相关模块 pip 安装即可 二、使用步骤 1.引入库 代码如下（示例）： import requests import parsel 2.获取网页数..
python大作业爬虫 爬取小说排行榜_Python练习爬虫（爬取整个站点小说）
weixin_39770165的博客
03-02 1312
· Python利用Xpath和requests包。爬取整站小说内容。1 首先寻找要爬取的站点，进行分析。image.pngimage.png根据网站内容，可以看到是根据tab页进行分类。点击不同的tab页面，可以发现每个分类都是通过image.pnghttps://www.biqugecom.com/list/1-1.html，https://www.biqugecom.com/list/4-1...
【Python大数据期末/课程设计】动态爬取“纵横中文网“小说排行榜数据并进行可视化处理 (flask框架/MySQL数据库/echarts数据可视化)
weixin_47040861的博客
04-16 2206
首先是render_template()函数，该函数用于向前端返回页面，这里需要说明的是，在flask框架中前端页面并不是直接渲染的，而是前端页面通过访问后端路由，由路由返回给前端页面的，例如这里的monthly页面，在网页中输入后缀带monthly的路径时会向后端对应的"/montlhy"路由请求页面内容，路由再利用render_template()函数在当前目录下的"templates"文件中找到对应的HTML页面并返回给前端。该项目一共爬取了五个排行榜，每个排行榜200条数据，共1000条数据。
【LeetCode】剑指 Offer 03. 数组中重复的数字（Java）
小楊同学的笔记本
10-08 476
找出数组中重复的数字。 在一个长度为 n 的数组 nums 里的所有数字都在 0～n-1 的范围内。数组中某些数字是重复的，但不知道有几个数字重复了，也不知道每个数字重复了几次。请找出数组中任意一个重复的数字。 解法一 数组 class Solution { public int findRepeatNumber(int[] nums) { int[] arr = new int[nums.length]; //统计nums中出现的数字及个数 for
python爬虫 多线程 爬取网站排行榜上的所有小说
zhengyizyp的博客
07-16 5198
python爬虫，多线程批量爬取多部小说欢迎阅读环境获取排行榜top上的所有小说地址分析排行榜top100页面的html，获取所有小说的url遍历小说列表url到生成txt多线程启动爬取任务完整代码写在最后 欢迎阅读 忽然有兴趣想试试把某网络小说网站上所有的小说都给爬下来。就拿17K小说网开刀，先把这个网站免费排行榜上的所有小说都弄下来。 之前发过贴，如何将一本小说爬取出来，以及简单规避网站安全系统。这次爬取多本的话，无非是在最外层再加一个循环，然后以多线程的方式启动，对每一部小说进行爬取，就不描述的太具体
python爬虫笔记（八） 实例3：用Python批量爬取全站小说【以书趣阁为例】
豆子
02-09 1734
1.用Python批量爬取全站小说 爬取这个网站小说：http://www.shuquge.com/txt/89644/index.html 2. 爬取一本书 # -*- coding: utf-8 -*- """ Created on Sat Feb 8 20:31:43 2020 @author: douzi """ import requests from parse...
Python爬取晋江文学城积分总榜的小说标题、作者及标签
weixin_74021639的博客
05-13 1508
python爬虫晋江
python爬虫之爬取起点中文原创小说排行榜
热门推荐
weixin_42730667的博客
09-11 1万+
学习python有段时间了，最近做了一个网上爬虫工具爬取起点中文原创小说排行榜数据，作为最近学习python的一个阶段性成果。 工具 对于做网络爬虫工具经常用到的就是chrome浏览器，主要用于抓取网页中的关键有效信息，F12键 使用其中的network功能可以监控其与服务器功能： Name: 请求的名称，一般为URL的最后一部分为内容 Header:是请求的http消息头,主要包括G...
python爬取小说
最新发布
03-21
### 使用Python实现网络小说爬虫 要使用Python实现一个网络小说爬虫，可以按照以下方式构建程序逻辑。以下是详细的说明： #### 1. 准备工作 在开始之前，需要安装必要的库工具，例如`requests`和`BeautifulSoup`。这些库可以帮助我们发送HTTP请求并解析HTML文档。 ```bash pip install requests beautifulsoup4 ``` #### 2. 发送HTTP请求 通过`requests`库向目标网站发送GET请求以获取网页内容。需要注意的是，某些网站可能有反爬机制，因此可以通过设置User-Agent头来伪装成浏览器访问[^1]。 ```python import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } url = "https://example.com/novel/chapter" response = requests.get(url, headers=headers) if response.status_code == 200: html_content = response.text else: print(f"Failed to retrieve the page. Status code: {response.status_code}") ``` #### 3. 解析HTML页面 利用`BeautifulSoup`库解析返回的HTML内容，并从中提取所需的小说章节标题和正文内容[^3]。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, 'html.parser') title_tag = soup.find('h1') # 假设标题位于<h1>标签中 content_tags = soup.find_all('p') # 假设正文字体位于<p>标签中 novel_title = title_tag.text.strip() if title_tag else "Unknown Title" chapter_text = "\n".join([tag.text.strip() for tag in content_tags]) print(novel_title) print(chapter_text[:200]) # 打印前200字符作为示例 ``` #### 4. 数据存储 将抓取的内容保存至本地文件以便后续离线阅读。 ```python output_file = f"{novel_title}.txt" with open(output_file, 'w', encoding='utf-8') as file: file.write(novel_title + '\n\n') file.write(chapter_text) print(f"The novel has been saved to '{output_file}'.") ``` #### 5. 处理多页或多章情况 如果小说分布在多个页面或者章节链接列表中，则需要遍历所有链接逐一抓取每一页的内容[^4]。 ```python base_url = "https://example.com/novel/" chapters = ["chapter1", "chapter2", "chapter3"] # 替换为实际章节URL部分 for chapter in chapters: full_url = base_url + chapter response = requests.get(full_url, headers=headers) if response.status_code != 200: continue soup = BeautifulSoup(response.text, 'html.parser') title = soup.find('h1').text.strip() text = "\n".join([p.text.strip() for p in soup.find_all('p')]) with open(f"{title}.txt", 'w', encoding='utf-8') as file: file.write(title + '\n\n' + text) ``` 以上代码片段展示了如何逐步完成从单个页面到整个系列小说的数据采集过程。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值