爬虫之selenium（二）

最新推荐文章于 2025-03-31 20:00:21 发布

原创

最新推荐文章于 2025-03-31 20:00:21 发布 · 465 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文介绍了selenium的导入和基本使用方法，包括打开浏览器、定位网页元素和获取数据的Xpath。通过实例展示了如何使用selenium进行网页爬取。

上期文章我们介绍了selenium的下载和安装，本期我们来介绍selenium的使用

selenium的基本使用：

1.selenium的导入：

selenium的导入很简单

from selenium.webdriver import Chrome
web = Chrome()

这个几乎就是一个思维定势了，以后再讲selenium或是拿他实战时特别常用，建议大家背下来

然后我们就来找到受害者也就是我们想要爬取的网站网址

完善代码：

from selenium.webdriver import Chrome
web = Chrome()
web.get('你要爬的网站网址')

ok，这时候我们简单运行一下就能看见你有另一个浏览器启动了并跳转到了那个网址

接下来我们爬取我们想要的数据，鼠标右键，选择检查

这时候我们可以看出来弹出了一个黑框，选择其中的Elements

可以看到黑框的最左上角有一个小箭头的标志

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

python_xixi

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

爬虫之selenium--基础篇

m0_70466650的博客

08-14

1773

本文主要讲解如何配置selenium 以及对应的相关操作与案例,指在帮助爬虫爱好者快速入门selenium ，需要相关资料、安装包或技术交流的爱好者可以私聊我一起交流。

python爬虫Selenium库详细教程_python爬虫之selenium库的使用详解

m0_61068496的博客

05-06

895

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）①　2000多本Python电子书（主流和经典的书籍应该都有了）③　项目源码（四五十个有趣且经典的练手项目及源码）⑤ Python学习路线图（告别不入流的学习）添加图片注释，不超过 140 字（可选）②　Python标准库资料（最全中文版）下面是详细的元素查找方法。2.7 获取元素信息。2.7.1 获取属性。2.9.1 隐式等待。2.9.2 显式等待。

参与评论您还未登录，请先登录后发表或查看评论

selenium安装--谷歌（from selenium.webdriver import Chrome）

weixin_44322716的博客

01-29

2483

写代码有个习惯，什么类型的代码就以它定义文件名，这就导致遇到了这个错误。百度了好多解决办法，但都没有得到解决。最后看到了这样一句话“ 看看自己报错的代码路径下是不是有一个叫selenium.py的文件，如果有，把名字改改就好了 ”，改过之后就一切正常了。这是因为导入的时候，pycharm会优先选择之前我们创建的selenium.py文件。所以只要把我们自己创建的selenium.py文件改了个名字就好了！ from selenium.webdriver import Chrome # 1、创建浏览

[教程]selenium和chromedriver的安装，以便python实现自动化

异想实验室|Arduion|ESP8266|Micro Python|

11-28

1609

selenium和chromedriver的安装，以便python实现自动化教程

selenium爬虫与配置谷歌浏览器的driver问题

m0_71422677的博客

08-09

2693

selenium爬虫驱动问题运行报错

爬虫笔记-selenium的基本使用+元素定位+元素信息

qq_54152856的博客

03-05

416

1、selenium的基本使用首先要在python中的script终端中输入这行命令 pip install selenium 另外需要下载你默认浏览器的驱动器比如笔者用的是chrome浏览器，所以在关于浏览器中查找自己浏览器的版本号我的就是96.0.4664.110，再从chrome浏览器驱动下载地址：http://chromedriver.storage.googleapis.com/index.html ...

python——利用selenium实现便捷爬虫

llll123456890的博客

04-11

696

# selenium使用流程： # ——环境的安装： pip install selenium # ——下载一个浏览器的驱动程序（谷歌浏览器） # ——下载路径：http://chromedriver.storage.googleapis.com/index.html # ——驱动程序和浏览器的映射关系：http://blog.csdn.net/huilan_same/article/details/51896672 # ——实例化一个浏览器对象: # ——编写基于浏览器的实例化操作 from sele.

精选资源

Python爬虫之Selenium警告框(弹窗)处理

01-19

JavaScript 有三种弹窗 Alert (只有确定按钮), Confirmation (确定,取消等按钮), Prompt (有输入对话框)，而且弹出的窗口是不能通过前端工具对其进行定位的，这个时候就可以通过switch_to.alert方法...

精选资源

Python爬虫之Selenium下拉框处理的实现

01-19

switch_to.alert.accept()：定位并接受现有警告框(详情请参考Python爬虫 – Selenium（9）警告框(弹窗)处理) click()：鼠标点击事件(其他鼠标事件请参考Python爬虫 – Selenium（5）鼠标事件) move_to_element()...

精选资源

python爬虫使用selenium 实现中英互译

03-23

Python爬虫技术在数据获取和自动化测试中扮演着重要角色，而Selenium作为一个强大的Web浏览器自动化工具，常常被用于模拟真实用户操作，如点击、滚动、填写表单等。在这个项目中，我们专注于使用Selenium实现中英...

使用selenium，但chrome无法启动，需要安装浏览器对应版本（最新）的chromedriver

qq_52867389的博客

08-09

1万+

复制chromedriver.exe到chrome的安装目录下。但是国内的镜像网找不到，只更新到114版本。查询了浏览器版本：117.0.5927。需要安装驱动，点击了最下面的网址。解压到python.exe目录下。如图为有效信息，浏览器版本为。找到对应版本，点击下载即可。

Selenium安装WebDriver：ChromeDriver谷歌浏览器驱动下载安装与使用最新版116/117/118/119/120/121/122/123

最新发布

m0_61049754的博客

03-31

979

Selenium

Python爬虫（2）-Selenium控制浏览器

入佛门六根不净，入商场狼性不足

01-28

2558

Python爬虫（2）-Selenium控制浏览器

from selenium.webdriver import Chrome

强化学习曾小健

05-23

313

【代码】from selenium.webdriver import Chrome。

windows10下python中selenium的chrome驱动安装与使用

我要出家当道士

02-21

2641

详细介绍了windows10环境下，python中selenium的安装与使用，并提供了代码示例和运行截图，真正的手把手教学

python+selenium爬虫笔记

zhk

01-04

1922

python+selenium爬虫笔记

Python爬虫——Selenium在获取网页数据方面的使用

m0_73716246的博客

09-07

1万+

Selenium 可以实现，它本身是一款自动化测试工具，可以打开浏览器，像人一样操作浏览器，人们可以从 Selenium 中直接提取到网页上的各种信息，因为网页信息对于 Selenium 来说是透明的，其本质就是运行一个浏览器。selenium使用便捷，易于编写，可以屏蔽许多js加密、解密问题，但是其运行速度较慢，且一些网站会针对通过 selenium 方法进行的访问做反爬，所以使用的时候并不是万能的。打开浏览器，这里可以选择年份（需要点击），这是通过网页的 select 标签存放的。

Python爬虫之selenium登录

01-16

### 使用 Selenium 实现 Python 爬虫自动登录为了实现使用 Selenium 进行 Python 爬虫自动登录的功能，可以按照如下方法编写代码： #### 导入必要的模块并初始化 WebDriver 首先需要导入 `webdriver` 模块来控制浏览器行为。 ```python from selenium import webdriver # 从selenium导入webdriver [^2] ``` 接着设置 Chrome 浏览器驱动路径，并创建一个新的浏览器实例。 ```python driver_path = 'path/to/chromedriver' # 需要替换为实际 chromedriver 路径 browser = webdriver.Chrome(executable_path=driver_path) ``` #### 访问目标网页并输入用户名密码打开指定的目标网址，在页面加载完成后找到对应的表单元素填充账号信息。 ```python login_url = "https://example.com/login" browser.get(login_url) username_input = browser.find_element_by_name('username') password_input = browser.find_element_by_name('password') username_input.send_keys('your_username') # 替换成自己的用户名 password_input.send_keys('your_password') # 替换成自己的密码 ``` #### 提交表单完成登录动作定位到提交按钮点击它以触发登录请求。 ```python submit_button = browser.find_element_by_css_selector('.btn-login') # 假设类名为 .btn-login 的按钮是提交按钮 submit_button.click() ``` 以上就是利用 Selenium 库让 Python 程序模仿人类操作浏览器的过程[^1]。需要注意的是不同网站的具体结构可能有所差异，因此上述代码中的选择器表达式应当依据实际情况调整。