selenium爬取网页的性能问题

最新推荐文章于 2025-04-10 23:00:51 发布
原创 最新推荐文章于 2025-04-10 23:00:51 发布 · 895 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #爬虫

本文探讨了一台配置为4C*8GB的台式机如何实现每小时6-8000个网页的抓取速度，包括优化策略、遇到的挑战以及对难抓取网站的应对措施。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

5个浏览器窗口（5个线程），每小时3000个网页，理论上一台4C*8GB的台式机能达到每小时6-8000的网页（除掉带宽/对方防爬和对方服务器性能优越），对难搞的网站抓取性能还是不错的！

用selenium爬取csdn博客文章，并用4种方法提取数据
数据知道的博客
06-15 3万+
为了方便学习selenium，下面代码用selenium爬取博客文章的标题和时间，并用selenium自带的解析，etree，bs4，scrapy框架自带的selector等4种方式来解析网页数据； 当然，请求库还可以使用urllib，requests；也可以用aiohttp来实现异步爬取，用Splash实现动态渲染页面的抓取。 # -*- encoding: utf-8 -*- from selenium import webdriver from selenium.webdriver.chro
Python爬虫实战：使用Selenium爬取知乎动态加载内容的全流程详解
最新发布
2201_76125261的博客
06-02 542
支持Chrome、Firefox、Edge等主流浏览器通过WebDriver实现浏览器操作接口支持元素定位、执行JS脚本、模拟鼠标键盘事件支持无头浏览器模式提升性能显式等待（Explicit Wait）保证页面元素加载完毕滚动模拟触发懒加载处理异步请求，控制爬取节奏。
selenium 爬取中国经济社会发展数据库数据 (2)优化爬取速度和解决StaleElementReferenceException
Cmmmmm丶的博客
06-07 696
求点赞！！！ 求点赞！！！ 求点赞！！！ 上一版本的爬取测试代码在这 添加链接描述 对上一版本进行了一些测试，主要问题有两个 用time.sleep()作为固定等待时长导致了爬取速度过慢，同时，也有可能存在网速问题等客观因素导致的抛错 在进行大量数据爬取时，会抛出StaleElementReferenceException错误 对代码进行了一些优化 def find_table(indicator, region, year): wait = WebDriverWait(
还是爬虫，使用的是selenium，爬取的是智联，爬取速度灰常慢...
weixin_34365635的博客
10-11 434
# -*-coding:utf-8-*-# 2017-10-11 建小国from selenium import webdriverimport json, time, xlwtclass Zhilian(object): def __init__(self): # 第一页 智联 北京 python self.url = 'http://sou.zhaopin.c...
Python selenium get页面很慢时，处理办法
标题
07-04 1万+
在执行脚本时，driver.get("url") ，如果当前的url页面内容较多加载特别慢，很费时间，但是我们需要操作的元素已经加载出来，可以将页面加载停掉，不影响后面的脚本执行，解决办法设置页面加载timeout，get操作： try get except 脚本window.stop(),  使用GeckoDriver上有效果，但是在ChromeDriver上还是会有问题，抛出异常timeout...
selenium firefox 内存 速度优化
diangang3082的博客
06-23 1425
selenium firefox 内存 速度优化 2 23 profile = webdriver.FirefoxProfile() 2 24 profile.set_preference("permissions.default.image", 2) ...
使用selenium设置firefox不加载图片增加加载速度提高爬虫效率
热门推荐
东方佑
11-27 17万+
from selenium import webdriver options=webdriver.FirefoxProfile() options.set_preference(‘permissions.default.image’,2) b=webdriver.Firefox(options) b.get(‘http://image.baidu.com/’)
python Selenium爬取数据代码学习 冲！！！
JM1307hhh的博客
03-04 442
【51job代码】python Selenium学习
Python爬虫教程：使用Selenium抓取动态网页内容
2201_76125261的博客
04-10 1098
Selenium是一个开源的自动化测试工具，用于Web应用的自动化操作。Selenium支持多种编程语言，包括Python、Java、C#等。它能够模拟浏览器中的各种操作，如点击、输入、滚动、抓取页面内容等。通过使用Selenium，爬虫可以在实际的浏览器环境中运行，从而获取动态加载的数据。在本文中，我们详细介绍了如何使用Selenium抓取动态加载的网页内容。通过模拟浏览器的行为，Selenium能够处理JavaScript渲染的页面，抓取动态加载的内容。
selenium爬取入门到实战（模拟用户操作QQ）
m0_70812512的博客
05-22 743
使用python的requests模块还是存在很大的局限性，例如：只发一次请求；针对ajax动态加载的网页则无法获取数据等等问题。特此，本章节将通过selenium模拟浏览器来完成更高级的爬虫抓取任务。Selenium是一个用于自动化Web应用程序测试的开源工具集。它提供了一组API和工具，可以与多种编程语言一起使用，如Java、Python、C#等，用于模拟用户在浏览器中的行为，如点击、填写表单、提交数据等。
Selenium和Firefox对应版本及注意事项
王德超
03-21 3万+
【Selenium】    -> 【FireFox】        2.25.0        ->  18        2.30.0        ->  19        2.31.0        ->  20        2.42.2        ->  29        2.44.0        ->  33 (不支持31)        2.53.0
Firefox浏览器的启动速度优化
Out Of Date>搬家到http://imee.cn了
09-28 182
在地址栏中输入： about:config 1.右击鼠标－新建－布尔（boolean)项，输入：config.trim_on_minimize,并设置为true。 作用：这样就可以在最小化时自动释放内存。 2.在过滤器栏输入：browser.sessionhistory.max_total_viewers，双击该项，修改值为5或更小。 作用：页面快进/快退功能中保存的页面...
selenium提升效率_selenium 执行效率
weixin_39968995的博客
12-19 983
场景：Selenium自动化,加快IE浏览器自动化执行效率Selenium自动化,加速IE浏览器自动化执行效率加速IE浏览器自动化执行效率：Selenium自动化中DOM，XPATH，CSS定位Web页面对象的优劣性分析技术背景在Web应用中，用户通过键盘在输入框中输入值和鼠标点击按钮，链接等。比如在用户名输入框和密码输入框输入正确的用户名和密码，然后点击登录按钮进行登录。在Selenium自动化...
Python—selenium爬取快代理
qq_39022311的博客
11-17 650
本篇使用 selenium技术 爬取快代理上的代理IP，并判断其是否可用。 #爬取代理IP from selenium import webdriver from selenium.webdriver.common.proxy import Proxy from selenium.webdriver.common.proxy import ProxyType from selenium.webd...
selenium篇之性能优化
qq_34725782的博客
07-26 3121
当我们使用selenium制作爬虫或自动化测试时，往往会消耗更大的资源以及多余的等待页面资源加载时间。 基于我上一篇帖子的实际需求，当网页图片过多且不需要完全都将图片加载时，应该停止网页的加载进行下一步操作，这里给出三种可供参考的优化方案。 设置页面的最大加载时长 browser = webdriver.Chrome() # 打开浏览器 browser.set_page_load_timeou...
selenium提升效率_Scrapy框架-自动化selenium的应用与提高爬虫效率配置
weixin_39531037的博客
12-19 498
引入在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据，则必须使用selenium创建浏览器对象，然后通过该浏览器对象进行请求发送，获取动态...
Selenium-网络数据采集工具库-初学篇
nephilimbiin的博客
10-14 970
库介绍 Selenium是一个强大的网络数据采集工具（http://www.seleniumhq.org/),最初是为网站自动化测试而开发，同时也它们也可以运行在浏览器上。在Python中应用功能主要如下： 让浏览器自动加载页面 获取浏览器网页加载的数据 页面截屏 判断网站上某些动作是否发生 项目环境 操作系统：win10 python版本：3.6 解析器：pycharm2018 ...
吐血整理，Selenium自动化测试优化执行速度小技巧（汇总）
测试人，要卷就卷成最强的！
06-30 1451
让自动化测试脚本正常工作只是自动化测试的第一步，由于自动化脚本会经常执行并更新，因此测试脚本需要，可以快速执行、容易维护、容易阅读等。在page_source中断言text比直接使用text属性断言要快我们经常会需要断言页面中的某个部分包含一些具体的文本，下面的语句的输出结果是相同的不过对于第二条语句来说，selenium需要去分析页面的结构，最后再找到对应的元素并输入结果，这显然是需要花费时间的。如果页面比较小的化，那么二者的差距可能不大，不过对于大的页面来说，第一条语句速度明显会更快一些。
Selenium | 你真的知道怎么提高Selenium的运行速度吗？
m0_72760466的博客
03-25 6619
对于网上流传的提高selenium的方法有很多，但从程序运行的感官上来看，感觉提速并不明显。所以，我特地做了一些测试，寻找最优方案。但是，由于对不同组的测试次数并不相同，结果可能不太严谨。但是，一般来说，结果基本都在一定范围内浮动，所以结果和多次测试大差不差。
selenium爬取太慢
03-14
### 提高Selenium网页抓取速度的方法 为了提升Selenium在网页抓取过程中的效率并减少资源消耗，可以从多个角度入手。以下是几个主要策略： #### 1. 减少不必要的渲染 通过无头模式运行浏览器可以显著加快爬取速度。无头模式下，浏览器不会显示图形界面，因此减少了渲染时间。启用无头模式可以通过设置选项完成[^1]。 ```python from selenium import webdriver from selenium.webdriver.chrome.options import Options chrome_options = Options() chrome_options.add_argument("--headless") # 启用无头模式 driver = webdriver.Chrome(options=chrome_options) ``` #### 2. 动态等待代替固定等待 动态等待可以根据特定条件自动结束等待，而不需要固定的延时，这有助于节省大量时间。使用`WebDriverWait`配合`expected_conditions`模块能够更高效地定位元素[^2]。 ```python from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC wait = WebDriverWait(driver, timeout=10) element = wait.until(EC.presence_of_element_located((By.ID, "example"))) ``` #### 3. 避免全页加载 如果目标数据仅存在于部分区域，则无需等待整个页面完全加载即可提取所需信息。利用JavaScript禁用某些功能（如图片预览或视频播放），也可以加速页面响应[^4]。 ```javascript // 使用 execute_script 方法关闭图像加载 driver.execute_script(""" Object.defineProperty(HTMLImageElement.prototype, 'src', { set: function(value) {} }); """) ``` #### 4. 控制窗口大小与位置 调整浏览器窗口尺寸至最小必要范围同样能改善性能表现。较小的视口意味着较少的内容需要被绘制出来。 ```python driver.set_window_size(800, 600) # 设置窗口大小为宽800px，高600px ``` #### 5. 并行化请求 对于多任务场景来说，并发执行多个实例可能是一个不错的选择。不过需要注意的是，过多的同时连接可能会触发反爬机制或者增加服务器负担。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值