[爬虫]解决机票网站文本混淆问题-实战讲解

置顶 已于 2025-10-10 09:02:11 修改
阅读量1.2w 收藏 11
点赞数 10
CC 4.0 BY-SA版权
分类专栏： Python从零到企业级应用：短时间成为市场抢手的程序员 文章标签： 爬虫
于 2023-07-01 16:37:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/SUEJESDA/article/details/131491331
文章讲述了如何解决去哪儿网机票价格因文本混淆和反爬策略而难以直接爬取的问题。通过分析HTML源码，发现价格实际由多个带有偏移量的`<b>`标签内的数字组成，通过解析`<b>`标签的`left`样式属性，按顺序排列数字来恢复真实价格。文章提供了Python代码示例，演示了如何利用`lxml`和`re`库解析和重组价格信息。

 前言

最近有遇到很多小伙伴私信向我求助，遇到的问题基本上都是关于文本混淆或者是字体反爬的问题。今天给大家带来其中一个小伙伴的实际案例给大家讲讲解决方法

📝个人主页→数据挖掘博主ZTLJQ的主页

b1691e6f246947eeb06ee06469621bc2.gif​​

首先呢我们要讲的就是去哪儿网实战案例，那么私信我的这位小伙伴呢是想爬机票的信息，那么我们首先第一步就是打开网站

ec4f71fd1741400588c89362939f0a62.png​

 打开网站以后呢，我们就可以随便选择一个飞机的方向，比如我选择北京到马尼拉的机票，点击以后就会出现这个画面如下：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AES加密解密基本原理讲解 - 实战：爬取有AES加密的接口
孤寒者的博客
08-03 1万+
AES加密解密基本原理讲解-实战：爬取有AES加密的接口
Python爬虫文字混淆与加解密终极指南：从原理到实战的完整解决方案
最新发布
ZTLJQ的博客
10-11 174
本文系统介绍了网络爬虫对抗文字混淆技术的破解方法，主要包括五种常见混淆技术：字体列表伪装、Unicode/HTML实体编码、CSS偏移、SVG文字混淆和前端JS动态加密。针对每种技术，文章详细解析了其原理、识别特征，并提供了Python实现方案。其中，字体列表伪装通过解析自定义字体文件构建映射表；Unicode编码使用实体解码和映射表；CSS偏移通过计算元素定位还原；SVG混淆结合路径分析和OCR技术；JS加密则通过模拟执行环境或算法还原。文章强调，针对复杂混淆需要综合运用多种技术，并结合具体场景调整参数，
爬取去哪儿网机票数据
tanjunchen的博客
08-10 7008
抓取去哪儿网机票数据 此次，我们使用webdriver测试抓取去哪儿网机票数据，为什么不爬取主站而爬取 m站，因为主站机票价格通过css操作使网页显示价格与html元素呈现的价格不一样，虽然可以解决但比较繁琐。但是m站价格两者是相同的，所以我们抓取m站点的数据，感兴趣的可以自行破解css混淆抓取主站数据。 移动端数据 主站PC端 通过分析得知数据...
selenium网络爬虫去哪儿机票利用performance获取日志截获加载的xhr，ajax，js等数据
weixin_47481982的博客
12-21 2611
页面获取后发现是经过ob混淆的页面源代码，处理起来难度又更高了(最后总结发现并非全部混淆只是哈有ob混淆的代码就以为运用上了)，最后几经思考了解到利用日志定位到页面加载的数据从而获取加载过了什么数据，等于抓包软件抓取的原理。（虽然后面发现可以定位页面获取想要的数据并没有ob混淆只是部分运用了，但获取请求的返回更高效不需要翻页请求一次获取全部内容，并且摸索学会了新的爬取技术）成功获取到数据，因为此网站的数据是直接返回所有当天的所有机票数据，所以更方便不需要跳转页面来获取，只需要对数据进行提取即可！
携程去哪儿机票爬虫，添加ip代理请求携程和去哪儿网，Java语言
12-05
携程去哪儿机票爬虫，添加ip代理请求携程和去哪儿网，Java语言
五一调休，你回家的机票可能都被爬虫抢完了......
dingxiang234的博客
04-20 694
基于设备指纹对实现对各类风险和模拟器、真机的识别，以及Dinsight风险决策引擎毫秒级实时决策对行为分析（鼠标的滑动轨迹、键盘的敲击速率、滑动验证码的滑动轨迹、速率、按钮点击等行为轨迹等），实现对恶意“爬虫”行为的有效识别；以上面机票为例，如果我能在官网原价买的话，应该是1390（经济舱），但是票贩子通过恶意爬虫，把票务信息扒拉出来，预订机票但不付款，这就会导致官网显示“票已售罄”，真正需要的人无法购票，只能通过他们去买了，而这个时候，票价可能是3000多。这里面，就涉及到非法代理人操控的恶意“爬虫”。
python爬虫携程机票
tingguan的博客
04-16 3132
大半夜的来点干货，首先先让我得意一下，自学将近一个月python语言，学习网络爬取技术，从一个小白到半吊水大神，终于可以自己编写出爬取携程机票的脚本，可以根据自己输入始发地和到达地，日期，就可以爬取出机票价格，时间，航班，而且直接保存到excel里面，真是开心的不要不要的，好了上代码截图。 这部分各自自个加，我只是加一部分，而且这上面代码不全，我上传上去，有需要的下载...
Python爬虫实战-详细讲解爬取安居客房价数据
weixin_43800002的博客
08-02 1万+
最近在尝试用python爬取安居客房价数据，在这里给需要的小伙伴们提供代码，并且给出一点小心得。 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫，基本的是加请求头，但是这样的纯文本数据爬取的人会很多，所以我们需要考虑更换代理IP和随机更换请求头的方式来对房价数据进行爬取。（下面没有给出这两种方式的代码，如果有需要可以看我别的博客，将代码加入到其中） 其次是爬取规则的选择，理想的房价数据应该是这样的，结构化的。 但是实际上遇到的会是下面的情况，户型和房价数据会缺失，所以这就导致了爬取规则的不确定性
【网络与爬虫 23】反爬虫攻防实战：突破IP封锁、请求伪装与验证码识别
熵数实验室
07-10 1914
随着网站反爬虫技术的不断升级，数据采集工作面临着前所未有的挑战。本文深入剖析现代反爬虫机制的核心策略，包括IP频率限制、请求特征识别与验证码阻断，并系统讲解对应的突破技术。从构建高效IP代理池、模拟真实浏览器指纹到自动化验证码识别，本文提供完整的反爬虫对抗解决方案，帮助读者在合规前提下实现稳定高效的数据采集。无论是初学者还是有经验的爬虫工程师，都能从中获取实用技术与最佳实践。
python多线程爬机票_利用python进行多线程爬虫
weixin_39527372的博客
12-04 157
import threadingimport timeimport requestsimport jsonfromqueue import Queuefromlxml import etreeclassCrawlThread(threading.Thread):'''doc string for crawl thread'''def __init__(self, name, page_queue,...
机票爬虫工具类
01-08
爬 埃塞俄比亚 卡塔尔的机票信息，main方法执行的。爬的是网页的内容
爬虫爬取携程机票信息
05-28
python爬取携程网机票信息，输入“出发地”、“目的地”、“出行日期”，输出对应“航班、航空公司、起飞/降落时间、准点率、价格”。
爬虫爬取某大型网站机票价格源码（part2）
07-09
一个完整的爬虫项目，两种方式获取数据,一种cxf rest接口方式，一种quartz作业存数据库方式。涵盖的技术有spring，Hibernate，google genericdao，htmlunit，cxf等。
Python实现购买抢购机票
01-08
本文档为纯代码，基于Python3开发，目前是可以正常快速使用的，有需要的可以下载
航班信息爬虫：Python爬虫获取航班信息和机票价格
2201_76125393的博客
08-02 3292
本篇博客将指导您使用Python编写爬虫，从航空公司网站上获取航班信息和机票价格。我们将介绍如何选择目标网站和处理查询参数，同时为您提供充分的代码示例。跟随本文的指引，您将能够构建一个高效、合法的航班信息爬虫，帮助您快速获取最新的航班信息和机票价格。
携程机票数据爬取实战：使用 Python 获取携程网机票信息
2201_76125261的博客
01-04 1397
通过本篇博客，我们详细介绍了如何使用 Python 爬取携程网的机票信息，涉及了静态网页爬取（使用 Requests 和 BeautifulSoup）和动态网页爬取（使用 Selenium）两种方法。通过获取的数据，我们不仅能够进行票价分析，还可以构建更为复杂的预测模型或趋势分析工具。爬虫技术不仅能够帮助我们收集有价值的数据，还能够为商业决策提供数据支持。在实际应用中，我们可以结合更多的分析方法，如自然语言处理、图像处理等，进一步提升数据的价值。
我的“五一”特价机票是从爬虫手里买的
04-28 976
4 月 26 日，周五，宜出行，忌上班。 有些人的“五一”假期来得比法定放假早，比如雷锋网编辑。。。隔壁的媒体同行，他居然告诉我，自己已经无心上班，思想比身体先一步开启了假期模式。 然后他掏出手机，炫耀了一把抢到的特价机票。 噢，你要说到特价机票，那就是戳到我的业务点了，让网络安全科普作者小李分析一下特价机票可能是怎么来的吧！ 一个很大的可能性是，你是从爬虫二道贩子手里买的！ ...
python爬取去哪儿网机票_去哪儿网机票爬虫
weixin_39897127的博客
12-10 1744
最近公司有一个新的需求，就是需要爬某一天飞机票的数据，先让我爬携程，去哪儿网的数据，携程的话，还是比较简单的，但是在去哪儿网就遇到问题了，刚开始的时候我是用requests模块来爬去哪儿网，在请求的头信息，有一些随机值，每次请求都不一样，即使你使用上一次请求的随机值，还是会给你返回假数据。我自己给它生成一些随机字符串去请求，但依然返回假数据。最后没有办法，我只能使用selenium大法了。在使用s...
Python 爬虫实战（二）爬取携程（国际）机票
热门推荐
blowfire123的博客
08-07 1万+
github项目：https://github.com/wzyblowfire/flightsmonitor 页面分析 首先进入携程网的国际机票网页分析，可以看出该网页是一个动态页面，也就是说单一的请求获取response是无法得到我们需要的数据的，所以我们需要用后台分析一下我们真正所需要的数据到底在哪。 当搜索从香港到曼彻斯特的航班时，从Chrome控制台Network可以看到，有个ba...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZTLJQ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值