Python - 用selenium 模拟访问网页

最新推荐文章于 2025-06-23 12:15:46 发布
原创 最新推荐文章于 2025-06-23 12:15:46 发布 · 435 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍如何使用Selenium进行自动化测试，包括安装selenium库、配置chromedriver与Chrome浏览器版本一致，以及通过Python脚本模拟打开百度首页的操作。

1.安装selenium

pip install selenium

2.安装chromedriver

chromedriver的版本一定要和本机安装的chrome版本一致，否则无法使用

下载对应的chromedriver后，复制chromedriver.exe至python的script目录

3.开始模拟

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("http://www.baidu.com")

大功告成！！！

python-42-使用selenium-wire爬取微信公众号下的所有文章列表
qq_20466211的博客
01-10 719
Selenium WebDriver本身并不直接提供获取HTTP请求头(headers)的功能，Selenium Wire扩展了Selenium的Python绑定，让您可以访问浏览器发出的底层请求。您的代码编写方式与Selenium相同，但您可以获得额外的API来检查请求和响应并动态更改它们。
python-selenium模拟登陆(滑动验证码)
qq_41871957的博客
02-21 3225
python-selenium模拟登陆(滑动验证码) 普通滑动验证码验证 只需要我们将滑块拖动指定位置，处理起来比较简单。拖动之前需要先将滚动条滚动到指定元素位置,但是需要注意目标网站对selenium的反爬,如window.navigator.webdriver识别;滑块移动速度识别等; 带缺口(拼图)滑动验证码 这一类验证码可以使用两种方式识别: ①在目标网站带有完整背景图时,可以获取完整背景图与带缺口的图片进行比较,获取缺口的位置,计算距离,拖动滑块移动至缺口即可; ②尝试先用cv2的边缘检测识别出
Python+Selenium 实现打开浏览器、定时刷新页面
热门推荐
StarFishing
01-20 1万+
直接上代码，可能会出现的问题以及解决办法在下面给出 # coding = utf-8 import time from selenium import webdriver # driver = webdriver.Firefox() 打开火狐浏览器 driver = webdriver.Chrome() # 打开Chrome driver.maximize_window() #最大化...
Selenium模拟浏览器访问
weixin_44302046的博客
09-11 3876
（1）selenium是一个用于Web应用程序测试的工具。（2）selenium测试直接运行在浏览器中，就像真正的用户在操作一样。（3）支持通过各种driver（FirfoxDriver，IternetExplorerDriver，OperaDriver，ChromeDriver）驱动真正的浏览器完成测试。（4）selenium支持无界面浏览器操作。
使用selenium模仿手机浏览器访问淘宝网页
weixin_43808690的博客
03-18 1985
众所周知，selenium模拟浏览器进行页面访问是爬虫工具中较好用的方法。通过模拟浏览器可以很方便的访问很多需要通过登录验证才能访问的网页。 我们通过selenium其中访问h5手机端网页的办法解决这个问题，代码如下 from selenium import webdriver mobileEmulation = {'deviceName':'iPhone X'} options = webdri...
Selenium入门必备：学会用代码控制浏览器，打开网页、找到元素和退出浏览器
m0_70618214的博客
05-18 5966
大家好，我是凡哥。 作为一个想要学习Web自动化测试的小白，刚开始接触Selenium时可能会有些迷茫和不知所措。但是，不用担心，通过本文的学习，你将能够初步掌握Selenium的基础应用技能，包括如何用代码控制浏览器，打开并加载网页，找到并操作其中的元素，以及最后如何优雅地退出浏览器！ 相信随着不断的实践和学习，你定能成为一名出色的Web自动化测试工程师。接下来，就让我们一起开始这段“陪伴式”学习之旅吧！
Python selenium自动化网页抓取器
dmg17866的博客
01-19 555
（开开心心每一天~ ---虫瘾师） 直接入正题---Python selenium自动控制浏览器对网页的数据进行抓取，其中包含按钮点击、跳转页面、搜索框的输入、页面的价值数据存储、mongodb自动id标识等等等。 1、首先介绍一下 Python selenium ---自动化测试工具，用来控制浏览器来对网页的操作，在爬虫中与BeautifulSoup结合那就是天衣无缝，除去国外...
python基础学习--利用selenium模拟登录网页
qq_48666251的博客
12-27 563
passWord_tag.send_keys('QQ密码')userName_tag.send_keys('QQ号')
Python-基于Selenium爬虫的自动每天点绿github主页的python脚本
08-10
Python因其丰富的库支持和易读性而成为爬虫开发的首选语言，Web爬虫可以用于获取网页上的数据，分析网站结构，或者像这个项目一样，进行特定的自动化操作。 从压缩包子文件的文件名称“liuzhengwei127-AutoGreen-...
Python-Selenium:在python中使用Selenium进行不同的Web抓取
04-13
Selenium库是一个广泛使用的工具，它允许开发者模拟真实的用户行为，如点击按钮、填写表单和滚动页面，这对于Web测试和动态网站的数据抓取至关重要。在Python中集成Selenium，可以利用Python的简洁性和Selenium的...
Selenium模拟浏览器万能爬虫指南.pdf
04-10
适用于Python爬虫开发适用者，包括Selenium的基本使用和参考demo，以及使用过程中的注意事项
Python---selenium
最新发布
rasssel的博客
06-23 310
selenium，它是做最常用的库之一，不管是自动登录、爬虫、还是刷网页任务，都离不开它。
Python + selenium 自动化访问网页
skyrim_H的博客
12-10 4886
Python + selenium 自动化访问网页
python 网页登录selenium_Selenium网页自动登录项目(基于Python从0到1)
weixin_39773447的博客
12-08 820
Selenium是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作。本文讲述的是通过自动化的方式登陆某一网站，其中包含Selenium+python自动化项目环境如何部署， 获取图形验证码登录，元素获取方法，项目中遇到的问题，看完你会发现原来Selenium自动化轻松入门，是多么的简单，Selenium+python也可以用于爬虫。本文将从环境部署到项目开发一步步讲解...
selenium学习--打开网站以及选择元素
qq_45645552的博客
04-04 523
导入： from selenium import webdriver获取浏览器对象： webdriver.Chrome()打开某个网站：ob.get("url")为了防止网站打开之后闪退，可以添加input()语句防止其立刻结束。
Python使用selenium访问网页完成登录——装饰器重试机制汇总
m0_57021623的博客
07-26 569
是一个强大的装饰器库，可以更轻松地编写装饰器，特别是处理复杂逻辑时。类装饰器可以更灵活地管理状态，并且可以更好地组织复杂的逻辑。使用闭包使代码更简洁。
selenium案例---自动访问页面
weixin_50590724的博客
11-29 627
一.图片验证码 1. 2. 3. 二.Selenium手动打码 1. 2. 3. 三.综合项目案例 1. 2. 3.
python selenium使用chrome/firefox的已存在的cookie访问网站
zhusongziye的博客
03-21 9285
      如果我们在跑自动化程序之前，已经登录了某个网站，那么，我们就可以跳过输入用户名、密码以及验证码的环节，直接读取浏览器中已经保存的cookie来访问网站，就可以顺利进去了。由于selenium启动某个浏览器时，它启动的是一个全新的浏览器，没有带任何cookie，所以我们必须添加一些代码，来让程序加载这些cookie。我们分别用chrome和firefox来操作，看看对应的实际代码是什么。...
采用Selenium爬虫如何通过cookie访问网站
Martin的专栏
03-10 1277
Selenium登录后获得cookie访问网站
python--selenium：元素点击不到
02-21
### Python Selenium 解决元素不可点击问题 当遇到 `ElementNotVisibleException` 错误时，这通常意味着虽然找到了目标元素，但它当前处于不可见状态或被其他元素遮挡。为了处理这种情况，有几种策略可以尝试。 #### 使用 JavaScript 执行器强制点击 如果常规的 `.click()` 方法不起作用，则可以通过执行 JavaScript 来模拟点击操作： ```python element = driver.find_element_by_css_selector("your css selector here") driver.execute_script("arguments[0].click();", element) ``` 这种方法绕过了标准交互流程，直接触发 DOM 事件[^1]。 #### 确认元素可见性和可点击性 确保所选中的元素确实已经加载完成并变得可见。有时页面上的某些部分可能还没有完全渲染完毕就进行了查找和点击动作。此时应该加入显式等待条件直到满足特定属性为止: ```python from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By wait = WebDriverWait(driver, 10) visible_and_clickable_elem = wait.until( EC.element_to_be_clickable((By.CSS_SELECTOR, "your css selector")) ) visible_and_clickable_elem.click() ``` 这段代码会一直等到指定的选择器对应的元素既可见又可点击之后再继续执行下一步操作[^2]。 #### 处理 iframe 或者复杂布局下的元素访问 对于嵌套在 `<iframe>` 中或者其他特殊结构里的组件来说，需要先切换上下文才能正常与其互动。比如，在处理表单或其他类型的内联框架内的控件之前，应当调用 `switch_to.frame()` 函数来改变焦点位置： ```python # 切换至名为 'myFrame' 的 frame/iframe 内部 driver.switch_to.frame('myFrame') # 进行必要的操作... # 返回默认内容区域 (即整个网页主体) driver.switch_to.default_content() ``` 另外也要注意检查是否存在多个相同 ID 或类名的情况，因为这样可能会导致意外匹配到错误的对象实例[^3]。 #### 调整窗口大小适应显示全部元素 有时候由于屏幕分辨率不够大等原因造成部分内容未能充分展现出来而难以触及。这时调整浏览器尺寸有助于解决问题： ```python driver.set_window_size(width=1920, height=1080) # 设置固定宽高值 # 或者最大化窗口以充分利用可用空间 driver.maximize_window() ``` 通过上述手段往往能够有效改善大多数情况下发生的 “找不到” 或者 “点不到”的状况[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ssson

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值