Fake-Useragent包的替代方法（随机UA）

什么都干的派森

已于 2023-02-01 16:53:25 修改

阅读量5.1k

点赞数 6

CC 4.0 BY-SA版权

分类专栏： Python python高级文章标签：爬虫 http python

于 2021-10-11 08:45:04 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_43721000/article/details/120695975

python高级同时被 2 个专栏收录

41 篇文章 ¥49.90 ¥99.00

订阅专栏

Python

135 篇文章

订阅专栏

在遇到Fake-Useragent模块导致的错误时，作者选择了自行编写代码来生成随机用户代理（UA），以实现爬虫中更好地模拟浏览器行为。

Fake-Useragent模块总是报一些奇怪的错误，于是自己写了一个随机UA

import random


# 随机获取一个请求头
class RandomUserAgent():

    # 设备类型标识
    PC = '0'
    PHONE = '1'
    ALL = '2'

    # pc
    USER_AGENTS_PC =</

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

什么都干的派森

关注关注

6
点赞
踩
17

收藏

觉得还不错? 一键收藏
10
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Python常用模块之 fake_useragent：随机生成UA

孤寒者的博客

10-29

1万+

Python常用模块之fake_useragent：随机生成UA

scrapy user-agent和IP 代理的设置

浮云

01-10

426

class RandomUserAgentMiddleware(object): """随机请求头""" user_agent = [ "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)", "Mozilla/4.0 (compatible; MSIE 7.0; Windo...

10 条评论您还未登录，请先登录后发表或查看评论

Web安全：深入理解User-Agent报头注入与防御

haishiqiguai的博客，欢迎你的到来，希望你能在此找到汝心中所求

08-28

1538

本篇文章深入讲解了User-Agent报头注入的攻击原理、危害及利用方式，并强调了通过输入验证、输出编码和使用参数化查询等方法来有效防御此类漏洞

fake-useragent 替代库 anole

DataWizard

08-11

1071

fake-useragent替代库anole 安装使用：pip install anole 下面为官网译文： Project description 项目描述 Like a anole, fake everything. 像小丑一样，假装一切。 Currently support user agent and name fake, other will be coming soon. 目前支持用户代理和假名，其他将很快到来。 Thanks for use. 谢谢你的使用 How to use 如何使用 fr

使用fake-useragent自动更换UserAgent

热门推荐

Good Luck

06-18

8万+

安装： pip install fake-useragent 使用： from fake_useragent import UserAgent if __name__ == '__main__': agent__random = UserAgent().random print(str(agent__random))

python使用fake_useragent报错，如何解决？可以用my_fake_useragent来代替，实现用样的效果

SetsunaLan的博客

07-26

961

>>> 水一篇文使用fake_useragent报错，报错信息为Maximum amount of retries reached，可以用my_fake_useragent来代替，能实现同样的效果，条条大路通罗马，不用局限于一种方法 emm~，如果嫌弃my_fake_useragent比较长，那怎么解决fake_useragent报错的问题？可以按住Ctrl键的同时鼠标点击FakeUserAgent，查看源代码。用同样的方法进入settings，找...

scrapy中使用scrapy-fake-useragent自定义下载中间件

07-06

我们参考用户提供的引用内容，特别是引用[1][2][3][4]都提到了使用scrapy-fake-useragent库来设置随机User-Agent中间件。用户的问题：如何在Scrapy中集成scrapy-fake-useragent来自定义下载中间件。步骤： 1. ...

Traceback (most recent call last): File "D:\pythonProject4\毕业论文数据爬取\安居客.py", line 6, in <module> from fake_useragent import UserAgent # 安装: pip install fake-useragent File "D:\Python\lib\site-packages\fake_useragent\__init__.py", line 4, in <module> from fake_useragent.fake import FakeUserAgent, UserAgent File "D:\Python\lib\site-packages\fake_useragent\fake.py", line 8, in <module> from fake_useragent.utils import BrowserUserAgentData, load File "D:\Python\lib\site-packages\fake_useragent\utils.py", line 42, in <module> def load() -> list[BrowserUserAgentData]: TypeError: 'type' object is not subscriptable 进程已结束,退出代码1 报错了

最新发布

11-19

我们遇到了在使用fake_useragent库时出现的TypeError: 'type' object is not subscriptable错误。根据引用[1]和引用[2]，这个问题通常与Python版本（特别是3.8和3.9）以及fake_useragent库的更新有关。引用[1]指出，...

======================================== 快手账号关联查询系统 (反爬优化版) 玖武出品@3696132665 风继续吹 ✅ 已加载 1 个有效Cookie Error occurred during loading data. Trying to use cache server https://fake-useragent.herokuapp.com/browsers/0.1.11 Traceback (most recent call last): File "/data/user/0/ru.iiec.pydroid3/files/aarch64-linux-android/lib/python3.11/site-packages/fake_useragent/utils.py", line 154, in load for item in get_browsers(verify_ssl=verify_ssl): ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/data/user/0/ru.iiec.pydroid3/files/aarch64-linux-android/lib/python3.11/site-packages/fake_useragent/utils.py", line 99, in get_browsers html = html.split('<table class="w3-table-all notranslate">')[1] ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~^^^ IndexError: list index out of range

08-13

因此，我们还可以考虑使用其他方法，例如更新fake_useragent库（如果新版本已修复）或者使用备用方案。然而，根据问题描述，用户之前还遇到了ModuleNotFoundError，说明环境可能存在问题。因此，我们首先确保fake...

fake_useragent下载

04-02

以下是基于 Fake_UserAgent 使用的一个基础示例代码片段展示如何调用随机生成浏览器头部信息的功能: ```python from fake_useragent import UserAgent ua = UserAgent() print(ua.random) # 输出任意类型的 user-...

Python 设置随机 User-Agent （利用 fake_useragent包）

c_lanxiaofang的博客

01-27

8435

（利用 fake_useragent包） 1、win + R 进入cmd命令行，输入： pip install fake-useragent （或者直接在 Pycharm 的 Terminal 中输入：也可以 pip install fake-useragent ） 2、在Pycharm 中的python文件中写： from fake_useragent imp...

PyPI 官网下载 | fake_user_agent-0.0.4.tar.gz

01-11

资源来自pypi官网。资源全名：fake_user_agent-0.0.4.tar.gz

巧用 UserAgent 代替拙劣的 CSS hack

04-13

NULL 博文链接：https://zuoming.iteye.com/blog/1715179

随机生成UserAgent包之fake-useragent

weixin_30480583的博客

03-21

278

一、安装 pip install fake-usragent 二、使用 1.导包 from fake-useragent import UserAgent 2.实例化 ua = UserAgent() 3.使用 ua.ie # 随机生成IE浏览器的UserAgent ua.firefox #随机生成firefox浏览器的UserAgent ua.c...

Python 爬虫工具 —— fake_useragent

weixin_30498921的博客

05-28

382

服务器为避免爬虫工具无休止的请求，以减轻负载，会对 user agent 进行校验，即判断某一 user-agent 是否不断地进行请求。可采用如下方式进行绕过服务器的校验。 UserAgent_List = [ "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrom...

反爬虫机制（一）----伪装User-Agent之fake-useragent

ITYTI的博客

11-05

3690

今天首先讲解反爬机制的伪装User-Agent 第一种：在cmd命令行里用pip安装fake_useragent pip install fake-useragent 使用方法： from fake_useragent import UserAgent import random fake_ua=UserAgent() # 构建UserAgent()对象 headers = {'Us...

Python：fake-useragent 伪装请求头

guliang21的专栏

10-29

1077

Python：fake-useragent 伪装请求头写爬虫的时候，在进行 request 请求的时候，多数情况下需要添加请求头，否则就不能正常请求。添加请求头最常用的做法是修改 User-Agent 来伪装浏览器。以前在写请求头的时候，都是通过 copy 来解决的，昨天看到了一个库 fake-useragent，以后再也不用烦恼了。官网地址：https://pypi.org/pr...

【免费下载】 fake-useragent 使用与安装教程

gitblog_00509的博客

09-14

1704

`fake-useragent` 是一个基于Python的库，用于生成当前或接近当前版本的真实世界用户代理字符串，支持Chrome、Edge、Firefox和Safari等主要浏览器。该项目利用预先下载的数据集，确保提供最新的用户代理信息，适用于Web爬虫和其他需要模拟浏览器行为的场景。 ## 1. 项目目录结构及介绍 ```markdown fake-useragent/ ├── AUTHO...

随机生成User-Agent——fake-useragent

hengdawei3087的博客

03-03

1530

安装 pip install fake-useragent 使用基于python3的使用 fake-useragent在内部维护了很多的User-Agent，它提供了接口，只需要直接用就行。 >>> from fake_useragent import UserAgent >>> ua=UserAgent() >>> ua.fi...