selenium爬取网页的性能问题

最新推荐文章于 2025-04-10 23:00:51 发布
最新推荐文章于 2025-04-10 23:00:51 发布
阅读量895 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： selenium使用笔记 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/iteye_18228/article/details/82614602
本文探讨了一台配置为4C*8GB的台式机如何实现每小时6-8000个网页的抓取速度，包括优化策略、遇到的挑战以及对难抓取网站的应对措施。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

5个浏览器窗口（5个线程），每小时3000个网页，理论上一台4C*8GB的台式机能达到每小时6-8000的网页（除掉带宽/对方防爬和对方服务器性能优越），对难搞的网站抓取性能还是不错的！

用selenium爬取csdn博客文章，并用4种方法提取数据
数据知道的博客
06-15 3万+
为了方便学习selenium，下面代码用selenium爬取博客文章的标题和时间，并用selenium自带的解析，etree，bs4，scrapy框架自带的selector等4种方式来解析网页数据； 当然，请求库还可以使用urllib，requests；也可以用aiohttp来实现异步爬取，用Splash实现动态渲染页面的抓取。 # -*- encoding: utf-8 -*- from selenium import webdriver from selenium.webdriver.chro
Python爬虫实战：使用Selenium爬取知乎动态加载内容的全流程详解
最新发布
2201_76125261的博客
06-02 544
支持Chrome、Firefox、Edge等主流浏览器通过WebDriver实现浏览器操作接口支持元素定位、执行JS脚本、模拟鼠标键盘事件支持无头浏览器模式提升性能显式等待（Explicit Wait）保证页面元素加载完毕滚动模拟触发懒加载处理异步请求，控制爬取节奏。
selenium 爬取中国经济社会发展数据库数据 (2)优化爬取速度和解决StaleElementReferenceException
Cmmmmm丶的博客
06-07 698
求点赞！！！ 求点赞！！！ 求点赞！！！ 上一版本的爬取测试代码在这 添加链接描述 对上一版本进行了一些测试，主要问题有两个 用time.sleep()作为固定等待时长导致了爬取速度过慢，同时，也有可能存在网速问题等客观因素导致的抛错 在进行大量数据爬取时，会抛出StaleElementReferenceException错误 对代码进行了一些优化 def find_table(indicator, region, year): wait = WebDriverWait(
还是爬虫，使用的是selenium，爬取的是智联，爬取速度灰常慢...
weixin_34365635的博客
10-11 434
# -*-coding:utf-8-*-# 2017-10-11 建小国from selenium import webdriverimport json, time, xlwtclass Zhilian(object): def __init__(self): # 第一页 智联 北京 python self.url = 'http://sou.zhaopin.c...
Python selenium get页面很慢时，处理办法
标题
07-04 1万+
在执行脚本时，driver.get("url") ，如果当前的url页面内容较多加载特别慢，很费时间，但是我们需要操作的元素已经加载出来，可以将页面加载停掉，不影响后面的脚本执行，解决办法设置页面加载timeout，get操作： try get except 脚本window.stop(),  使用GeckoDriver上有效果，但是在ChromeDriver上还是会有问题，抛出异常timeout...
selenium firefox 内存 速度优化
diangang3082的博客
06-23 1426
selenium firefox 内存 速度优化 2 23 profile = webdriver.FirefoxProfile() 2 24 profile.set_preference("permissions.default.image", 2) ...
使用selenium设置firefox不加载图片增加加载速度提高爬虫效率
热门推荐
东方佑
11-27 17万+
from selenium import webdriver options=webdriver.FirefoxProfile() options.set_preference(‘permissions.default.image’,2) b=webdriver.Firefox(options) b.get(‘http://image.baidu.com/’)
python Selenium爬取数据代码学习 冲！！！
JM1307hhh的博客
03-04 443
【51job代码】python Selenium学习
Python爬虫教程：使用Selenium抓取动态网页内容
2201_76125261的博客
04-10 1104
Selenium是一个开源的自动化测试工具，用于Web应用的自动化操作。Selenium支持多种编程语言，包括Python、Java、C#等。它能够模拟浏览器中的各种操作，如点击、输入、滚动、抓取页面内容等。通过使用Selenium，爬虫可以在实际的浏览器环境中运行，从而获取动态加载的数据。在本文中，我们详细介绍了如何使用Selenium抓取动态加载的网页内容。通过模拟浏览器的行为，Selenium能够处理JavaScript渲染的页面，抓取动态加载的内容。
selenium爬取入门到实战（模拟用户操作QQ）
m0_70812512的博客
05-22 744
使用python的requests模块还是存在很大的局限性，例如：只发一次请求；针对ajax动态加载的网页则无法获取数据等等问题。特此，本章节将通过selenium模拟浏览器来完成更高级的爬虫抓取任务。Selenium是一个用于自动化Web应用程序测试的开源工具集。它提供了一组API和工具，可以与多种编程语言一起使用，如Java、Python、C#等，用于模拟用户在浏览器中的行为，如点击、填写表单、提交数据等。
page_perf:使用 selenium + chrome API 衡量页面性能
06-17
使用 WD.js 进行 Selenium 测试 获取 selenium 服务器并放入 PATH： curl -o /usr/bin/selenium-server-standalone-2.43.0.jar 获取 Chrome 驱动程序，放入 PATH： : path= 启动 Selenium 服务器： java -jar /usr/bin/selenium-server-standalone-2.43.0.jar 运行测试：node app.js
Selenium和Firefox对应版本及注意事项
王德超
03-21 3万+
【Selenium】    -> 【FireFox】        2.25.0        ->  18        2.30.0        ->  19        2.31.0        ->  20        2.42.2        ->  29        2.44.0        ->  33 (不支持31)        2.53.0
Firefox浏览器的启动速度优化
Out Of Date>搬家到http://imee.cn了
09-28 182
在地址栏中输入： about:config 1.右击鼠标－新建－布尔（boolean)项，输入：config.trim_on_minimize,并设置为true。 作用：这样就可以在最小化时自动释放内存。 2.在过滤器栏输入：browser.sessionhistory.max_total_viewers，双击该项，修改值为5或更小。 作用：页面快进/快退功能中保存的页面...
selenium提升效率_selenium 执行效率
weixin_39968995的博客
12-19 983
场景：Selenium自动化,加快IE浏览器自动化执行效率Selenium自动化,加速IE浏览器自动化执行效率加速IE浏览器自动化执行效率：Selenium自动化中DOM，XPATH，CSS定位Web页面对象的优劣性分析技术背景在Web应用中，用户通过键盘在输入框中输入值和鼠标点击按钮，链接等。比如在用户名输入框和密码输入框输入正确的用户名和密码，然后点击登录按钮进行登录。在Selenium自动化...
Python—selenium爬取快代理
qq_39022311的博客
11-17 650
本篇使用 selenium技术 爬取快代理上的代理IP，并判断其是否可用。 #爬取代理IP from selenium import webdriver from selenium.webdriver.common.proxy import Proxy from selenium.webdriver.common.proxy import ProxyType from selenium.webd...
【Selenium】提高测试&爬虫效率：Selenium与多线程的完美结合
苟日新，日日新，又日新!!!
06-01 1万+
本文章介绍了 Selenium + threading 和 Selenium + ThreadPoolExecutor 结合来创建多个浏览器或多个标签页的操作。提供代码模板，拿来即用
selenium提升效率_Scrapy框架-自动化selenium的应用与提高爬虫效率配置
weixin_39531037的博客
12-19 498
引入在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据，则必须使用selenium创建浏览器对象，然后通过该浏览器对象进行请求发送，获取动态...
selenium性能优化
ximikang的博客
08-20 1959
欢迎访问我的博客ximikang.icu selenium性能优化 当我们使用selenium制作爬虫或自动化测试时，往往会消耗更大的资源以及多余的等待页面资源加载时间。 大部分的优化手段都在options中进行设置 chrome_options = Options() chrome_options.add_argument("--window-size=1920,1080") chrome_options.add_argument("--disable-extensions") chrome_option
Selenium加快爬取加载速度,控制图片加载，控制css加载，控制JavaScript动态加载
木下瞳的博客
10-23 7821
了解更多关注微信公众号“木下学Python”吧~ 1.加快Selenium爬取速度 控制css加载--- 抓取过程仅仅抓取页面内容，CSS样式文件是用来控制页面外观和元素房子位置的，对内容并没有影响，可以限制 网页加载CSS，从而减少抓取时间，代码如下： from selenium import webdriver ...
selenium爬取太慢
03-14
### 提高Selenium网页抓取速度的方法 为了提升Selenium在网页抓取过程中的效率并减少资源消耗，可以从多个角度入手。以下是几个主要策略： #### 1. 减少不必要的渲染 通过无头模式运行浏览器可以显著加快爬取速度。无头模式下，浏览器不会显示图形界面，因此减少了渲染时间。启用无头模式可以通过设置选项完成[^1]。 ```python from selenium import webdriver from selenium.webdriver.chrome.options import Options chrome_options = Options() chrome_options.add_argument("--headless") # 启用无头模式 driver = webdriver.Chrome(options=chrome_options) ``` #### 2. 动态等待代替固定等待 动态等待可以根据特定条件自动结束等待，而不需要固定的延时，这有助于节省大量时间。使用`WebDriverWait`配合`expected_conditions`模块能够更高效地定位元素[^2]。 ```python from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC wait = WebDriverWait(driver, timeout=10) element = wait.until(EC.presence_of_element_located((By.ID, "example"))) ``` #### 3. 避免全页加载 如果目标数据仅存在于部分区域，则无需等待整个页面完全加载即可提取所需信息。利用JavaScript禁用某些功能（如图片预览或视频播放），也可以加速页面响应[^4]。 ```javascript // 使用 execute_script 方法关闭图像加载 driver.execute_script(""" Object.defineProperty(HTMLImageElement.prototype, 'src', { set: function(value) {} }); """) ``` #### 4. 控制窗口大小与位置 调整浏览器窗口尺寸至最小必要范围同样能改善性能表现。较小的视口意味着较少的内容需要被绘制出来。 ```python driver.set_window_size(800, 600) # 设置窗口大小为宽800px，高600px ``` #### 5. 并行化请求 对于多任务场景来说，并发执行多个实例可能是一个不错的选择。不过需要注意的是，过多的同时连接可能会触发反爬机制或者增加服务器负担。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值