爬虫【2】重构UserAgent

最新推荐文章于 2025-08-26 18:00:32 发布
原创 最新推荐文章于 2025-08-26 18:00:32 发布 · 1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

爬虫回顾：

爬虫【2】重构UserAgent

思考：网站如何来判定是人类正常访问还是爬虫程序访问？？？

网站检测爬虫的一种最基本的方法就是查看请求头，这里我们有一个可以查看自己请求头的网站 http://httpbin.org/get ，如果用浏览器去浏览可以得到这样一个图片，UserAgent可以显示一些信息
在这里插入图片描述
然而当你用python去访问的时候：
在这里插入图片描述
所以当我们使用爬虫去访问网页的时候，一定要伪装自己的请求头，否者一下就被识破了

重构请求头

urllib.request.Request

  • 作用
    创建请求对象(包装请求，重构User-Agent，使程序更像正常人类请求)
  • 参数
1、url：请求的URL地址
2、headers：添加请求头（爬虫和反爬虫斗争的第一步）
  • 使用流程
1、构造请求对象(重构User-Agent)
2、发请求获取响应对象(urlopen)
3、获取响应对象内容

这个被我教程初学阶段的爬虫三板斧

  • 如何伪造User-Agent
    很简单——百度啊，下面我列出了常用的User-Agent
User-Agent:的值
 
1) Chrome(谷歌)
Win7:
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1
Win10:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36
Chrome 17.0 – MAC
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11 
 
 
2) Firefox(火狐)
Win7:
Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0
Firefox 4.0.1 – MAC
Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1
 
 
3) Safari(Safari是苹果计算机的操作系统Mac OS中的浏览器)
safari 5.1 – MAC
Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50
safari 5.1 – Windows
Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50
 
 
4) Opera(欧朋浏览器可以在Windows、Mac和Linux三个操作系统平台上运行)
Opera 11.11 – MAC
User-Agent:Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11
Opera 11.11 – Windows
User-Agent:Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11
 
 
5) IE
IE 11
Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko
IE 9.0
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;
IE 8.0
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)
IE 7.0
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)
IE 6.0
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
WinXP+ie8：
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; GTB7.0)
WinXP+ie7：
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)
WinXP+ie6：
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
 
6) 傲游
傲游（Maxthon）
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)
 
 
7) 搜狗
搜狗浏览器 1.x
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)
 
 
8) 360
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)
 
9) QQ浏览器
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)
  • 示例
    向测试网站（http://httpbin.org/get）发起请求，构造请求头并从响应中确认请求头信息
from urllib import request

url = 'http://httpbin.org/get'
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 '
                        '(KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1'}
# 1. 创建请求对象-并未真正的发请求
req = request.Request(url,headers=headers)
# 2. 获取响应对象
res = request.urlopen(req)
# 3. 读取对象
html = res.read().decode('utf-8')
print(html)
Python爬虫实战：使用最新技术爬取华为应用市场数据
2201_76125261的博客
07-03 1468
本文将详细介绍如何使用Python最新技术栈构建一个高效、稳定的华为应用市场数据爬虫。我们将从爬虫基础原理讲起，逐步深入到反爬应对策略、数据存储优化等高级话题。文章包含完整的代码实现，使用requests-html替代传统的BeautifulSoup，结合aiohttp实现异步爬取，并利用Playwright处理动态渲染页面。此外，我们还将探讨数据清洗、存储方案选择以及爬虫监控等实用技巧，为开发者提供一套完整的华为应用市场数据采集解决方案。关键词。
fake_useragent
03-10
fake_useragent 使用方法： #UserAgent（）。random_ios ＃Mozilla / 5.0（iPhone； CPU iPhone OS 9_3_5，如Mac OS X）AppleWebKit / 601.1（KHTML，如Gecko）CriOS / 53.0.2785.109 Mobile / 13G36 Safari / 601.1.46 #UserAgent（）。random_android ＃Mozilla / 5.0（Linux; Android 4.2.2; H30-T00 Build / HuaweiH30-T00）AppleWebKit / 537.36（KHTML，like Gecko）Chrome / 34.0.1847.114 Mobile Safari / 537.36 #UserAgent（）。random_mobile ＃Mozi
Python 爬虫工具 —— fake_useragent
weixin_30498921的博客
05-28 382
服务器为避免爬虫工具无休止的请求，以减轻负载，会对 user agent 进行校验，即判断某一 user-agent 是否不断地进行请求。可采用如下方式进行绕过服务器的校验。 UserAgent_List = [ "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrom...
fake_useragent  UserAgent
cc9200的博客
10-28 480
fromfake_useragentimportUserAgent ua=UserAgent() ua.random 1.requests url = 'https://api.github.com/some/endpoint' headers = {'user-agent':ua.random} r = requests.get(url, headers=hea...
fake-useragent
weixin_30550271的博客
01-08 178
在编写爬虫进行网页数据的时候，大多数情况下，需要在请求是增加请求头 python下非常好用的伪装请求头的库：fake-useragent，具体使用说明如下： 安装fake-useragent库 pip install fake-useragent 获取各浏览器的fake-useragent from fake_useragent import User...
【fake_useragent】网络爬虫获取随机User-Agent
philosophy
06-05 2167
学习目标：通过安装python的fake_useragent第三方库，使用它生成随机User-Agent请求网站，以此突破反爬。目录User-aent安装fake_useragent库导入模块 生成useragent字符串request模块使用示例：user-agent：检验请求者的用户代理，包含请求者的浏览器、操作系统版本和cpu等信息，以此来判断是否为机器人。cmd命令行中输入以下命令进行安装： 生成useragent字符串 生成随机useragent 生成chrome浏览器useragent
00爬虫——关于UserAgent
weixin_44188298的博客
05-20 634
预备问题：什么是UA？ User-Agent 即用户代理，简称“UA”，网站服务器通过识别 “UA”来确定用户所使用的操作系统版本、CPU 类型、浏览器版本等信息，并通过判断 UA 来给客户端发送不同的页面。 当前浏览器UA信息 ：①浏览器名称 ②浏览器版本 ③系统平台 ④UA信息 问题1：如何获取爬虫程序UA信息？ import urllib.request response = urllib.request.urlopen('http://httpbin.org/get') html = res
面向对象爬虫架构设计：构建高复用、抗封禁的爬虫系统​
最新发布
wbryze的博客
08-26 2088
【摘要】针对传统爬虫脚本存在的配置分散、异常冗余、扩展困难、资源泄露四大痛点，提出基于类封装的四层架构解决方案。该方案通过BaseCrawler基类实现参数集中管理、连接池优化（速度提升40%）、统一异常熔断等功能，子类只需专注业务逻辑。以豆瓣电影爬虫为例，展示动态代理切换、防御性解析等2025年反爬对抗策略。文章还提出异步抓取、分布式架构等工程化扩展方向，并强调法律合规红线（如遵循robots.txt、禁止绕过付费限制）。该架构实测可提升开发效率300%，日均数据采集量提升10倍。
【代码优化大师】：提升爬虫性能的关键代码重构技术
本文围绕爬虫性能提升与代码优化展开讨论，深入分析了性能指标、瓶颈诊断和测试方法，探讨了代码重构的原则和实践，并着重分析了数据抓取、处理、存储以及异常处理的优化策略。文章通过案例分析了爬虫框架的定制和...
Java爬虫入门篇---Jsoup工具
冲冲冲的博客
01-13 993
Java爬虫入门篇---Jsoup工具前言准备工作获取文本数据获取页面中所有的图片 前言 pythoy的scrapy框架是大名鼎鼎，Jsoup则为Java框架的爬虫 准备工作 1、下载jsoup工具，如果是maven项目，请在pm.xml中加入以下代码： <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.7.
fake_useragent.json
03-05
fake_useragent 本地文件，版本为 0.1.11。FakeUserAgentError('Maximum amount of retries reached') 彻底解决办法中，fake_useragent.json 文件需要从 herokuapp 下载。为无法打开 herokuapp 网站的朋友提供下载。
fake_useragent_0.1.11.json
03-07
python运行出现"fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached"解决方案需要的缓存文件 1.获取临时目录： [root@hwcentos ~]# python Python 3.6.5 (default, Mar 20 2019, 21:55:20) [GCC 4.4.7 20120313 (Red Hat 4.4.7-18)] on linux Type "help", "copyright", "credits" or "license" for more information. >>> import tempfile >>> tempfile.gettempdir() '/tmp' 2.将 fake_useragent_0.1.11.json 放入上述linux 的临时目录(/tmp)
爬虫 UserAgent 伪装 fake_useragent
weixin_44818729的博客
08-06 133
import random from fake_useragent import UserAgent import random ua=UserAgent() p = ua.randomA print(p) 输出: Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0....
Python爬虫有用的库：fake_useragent，自动生成请求头
热门推荐
一名在读学生
08-09 3万+
利用第三方库fake-useragent，随机生成user-agent，解决请求头问题，增加爬虫的真实性。
Python - fake_useragent使用
keny-大成的博客
12-23 2398
UserAgent就是用户代理，又叫报头，是一串字符串，相当于浏览器的身份证号 在利用爬虫爬取网站数据时，频繁更换它可以避免触发相应的反爬机制
fake_useragent伪装headers
Sunny_Future的博客
04-19 1234
关于反爬的问题，我们要经常伪装不同的浏览器User-Agent来欺骗服务器来完成请求，fake_useragent库则可以模拟指定浏览器的User-Agent或者随机产生一个User-Agent。 安装 pip install fake_useragent 指定浏览器 from fake_useragent import UserAgent ua = UserAgent() # ch...
Python库fake-useragent
云原生devsecops
01-24 4113
参考github链接https://github.com/hellysmile/fake-useragent 1.安装 pip install fake-useragent 2.使用案例 2.1查看各浏览器的user-agent值 from fake_useragent import UserAgent ua = UserAgent() #chrome浏览器 print(ua.chrom...
【Python小技巧】无惧反扒，借用fake_useragent 爬取网页信息（附抓取金十数据新闻源代码，且用且珍惜）
IT里的交易员-博客
04-10 6800
以上例子，我们通过requests抓取了新闻，并对新闻content进行了筛选，这样就可以快速筛选出我们关心的新闻。有了fake_useragent 的加持，我们几乎可以抓取任何我们想要的新闻，而且不用怕被拦截。抓取新闻，我们可以存到数据库，方便进行归档分析。如果有必要，我们还可以将消息通过企业微信的接口发送到微信上。这样就可以实现对关键消息的实时掌握，不错过重要关注的消息。
爬虫【11】易班刷网薪系统
python_LC_nohtyp的博客
05-26 1万+
爬虫【11】易班刷带薪系统 爬虫回顾： 爬虫【1】打开网站，获取信息 爬虫【2】重构UserAgent 爬虫【3】URL地址编码 爬虫【4】爬取百度贴吧并生成静态页面 爬虫【5】爬虫猫眼电影100榜单并保存到csv 爬虫【6】链家二手房信息和图片并保存到本地 爬虫【7】链家二手房信息和图片并保存到本地 爬虫【8】request.get()参数详解 爬虫【9】 小米应用商店爬虫（多线程） 爬虫【...
python爬虫抓取app
07-20
<think>我们正在处理一个关于使用Python爬虫抓取手机App数据的问题。用户希望得到教程指导。 根据系统指令，我们需要： 1. 使用中文回答 2. 行内数学表达式用$...$，独立公式用$$...$$ 3. 正确使用LaTeX语法（但本问题可能不涉及数学公式，所以可能不需要） 4. 生成相关问题 5. 在引用的段落末尾添加引用标识（注意：我们只能引用提供的三个引用内容，并且要自然添加） 提供的引用内容： 引用[1]：介绍了APP数据抓取的基本流程、工具和Python依赖。 引用[2]：提供了一个豆瓣网页数据抓取的示例，但用户需要的是APP数据抓取，所以这个引用可能不太相关，但我们可以参考其请求和解析的方法。 引用[3]：展示了一个APP接口请求的示例，其中包含了一些参数。 用户需求：使用Python编写爬虫来抓取手机App数据。 根据引用[1]，我们可以总结出抓取APP数据的一般步骤： 1. 安装并配置抓包环境（如Fiddler、Charles、Mitmproxy） 2. 抓取真实APP请求并分析接口 3. 提取必要的参数（如Headers、Token、Sign等） 4. 使用Python重构请求，实现自动化数据抓取 5. 存储结果（CSV、数据库、JSON等） 因此，我们的回答应该围绕这些步骤展开。 注意：由于用户要求的是教程，我们将按照步骤进行讲解，并尽可能提供代码示例。 另外，由于引用[3]提供了一个具体的请求参数示例，我们可以参考它来展示如何构造请求。 步骤详细说明： 第一步：环境与工具准备 - 模拟器：用于在电脑上运行手机APP（如夜神模拟器、雷电模拟器等） - 抓包工具：用于捕获APP发出的网络请求（如Charles、Fiddler、Mitmproxy） - 安装Python依赖：requests（用于发送HTTP请求）、mitmproxy（用于中间人攻击抓包，也可以用于脚本扩展）等 第二步：配置抓包环境 - 以Charles为例：安装Charles，设置代理（通常为电脑的IP和8888端口），然后在模拟器或手机中设置相同的代理。 第三步：抓取并分析APP请求 - 启动抓包工具，然后在APP中进行操作，抓包工具会记录所有的网络请求。 - 找到我们关心的数据请求，分析其请求方法（GET/POST）、URL、请求头、请求参数等。 第四步：提取必要参数 - 通常APP的接口会有一些验证参数，如Token、Sign（签名）等，这些需要从请求中提取并分析生成规则。 第五步：使用Python重构请求 - 使用requests库模拟请求，注意携带必要的请求头和参数。 第六步：存储数据 由于引用[2]是网页抓取的例子，我们可以参考其请求和解析的方式，但APP接口返回的通常是JSON数据，所以解析会更简单。 下面我们按照这些步骤来编写教程。</think>### Python爬虫抓取手机App数据教程 以下是使用Python抓取手机App数据的详细步骤，基于引用[1]的核心流程： #### 1. 环境准备 - **抓包工具**（用于捕获App网络请求）： - Charles（支持HTTPS代理）[^1] - Fiddler（轻量级工具） - Mitmproxy（支持Python脚本扩展）[^1] - **模拟器**（可选）： - 夜神模拟器/Nox - 雷电模拟器/LDPlayer - **Python库安装**： ```bash pip install requests mitmproxy rich prettytable ``` #### 2. 抓包分析接口 1. 配置抓包工具的代理（通常为`IP:8888`） 2. 在手机/模拟器设置中配置相同代理 3. 操作目标App，观察抓包工具捕获的请求 4. 定位数据接口（通常返回JSON格式）： ```http GET /api/data?timestamp=1625550000&sign=afe4c... HTTP/1.1 Host: app.example.com Authorization: Bearer xxxxx User-Agent: Dalvik/2.1.0 ``` #### 3. 提取关键参数（以引用[3]为例） ```python params = { 'timestamp': '1625550000', # 时间戳 'phoneBrand': 'Meizu', # 设备品牌 'platform': '1', # 平台标识 'sign': 'afe4c...' # 加密签名[^3] } headers = { 'Authorization': 'Bearer xxxxx', 'User-Agent': 'AppClient/7.2.1' } ``` #### 4. Python重构请求（示例代码） ```python import requests import json url = "https://app.example.com/api/data" params = { "timestamp": "获取动态时间戳", "sign": "计算签名值" # 需逆向分析签名算法 } headers = { "User-Agent": "Mozilla/5.0 (Linux; Android 10)", "Authorization": "Bearer token_value" } response = requests.get(url, params=params, headers=headers) if response.status_code == 200: data = response.json() print(json.dumps(data, indent=2, ensure_ascii=False)) ``` #### 5. 数据处理与存储 ```python # 存储到JSON文件 with open('app_data.json', 'w', encoding='utf-8') as f: json.dump(data, f) # 存储到CSV（示例） import csv with open('data.csv', 'w', newline='') as csvfile: writer = csv.DictWriter(csvfile, fieldnames=data[0].keys()) writer.writeheader() writer.writerows(data) ``` #### 关键注意事项 1. **动态参数处理**：多数App接口使用动态token和签名，需逆向分析生成逻辑 2. **反爬机制**： - 使用随机请求头（`fake_useragent`库） - 添加请求延迟（`time.sleep(random.uniform(1,3))`） 3. **HTTPS证书验证**：抓包时需安装抓包工具的根证书 4. **法律合规性**：确保遵守目标App的`robots.txt`和服务条款
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值