爬虫之selenium（一）

最新推荐文章于 2024-08-14 20:52:57 发布

原创最新推荐文章于 2024-08-14 20:52:57 发布 · 1.2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文介绍了如何在Python中安装和配置Selenium库，涉及pip安装、国内镜像源选择，以及Chrome浏览器的webdriver下载与路径设置。后续将深入讲解基本使用方法。

部署运行你感兴趣的模型镜像

一、关于selenium：

selenium是python中一个强大的模拟浏览器操作的库

当然python本身是不带这个库的，所以我们需要下载

然而这个下载并不容易，分两步：

二、selenium下载：

1.在pycharm下方找到Terminal，打开，输入pip install selenium

如果显示失败，那么就是因为下载速度太慢导致的，我们可以切换到国内的镜像源

输入pip install -i https://pypi.tuna.tsinghua.edu.cn/simple selenium

等待一会即可下载成功！

2.由于selenium是一个模拟浏览器的库，所以对浏览器的配置也是必不可少的

我们需要配置我们所用浏览器的webdriver

webdriver下载网站：http://chromedriver.storage.googleapis.com/index.html

（由于我使用的是Chrome浏览器，所以这里用chrome举例）

温馨提示：下载的webdriver一定要和浏览器版本相对应，不然会前功尽弃

下载好之后把webdriver放在python的文件夹里

然后把python添加在计算机环境变量path中

这样，selenium的下载和配置大功告成！

预告下一期内容：selenium的基本使用

您可能感兴趣的与本文相关的镜像

Wan2.2-T2V-A5B

文生视频

Wan2.2

Wan2.2是由通义万相开源高效文本到视频生成模型，是有50亿参数的轻量级视频生成模型，专为快速内容创作优化。支持480P视频生成，具备优秀的时序连贯性和运动推理能力

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

python_xixi

关注关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

python—selenium爬虫

2301_77698138的博客

07-23

2307

Selenium爬虫与Requests在多个方面存在显著差异，这些差异主要体现在它们的工作原理、功能特点、适用场景以及性能表现上。在某些情况下，我们使用Selenium爬取文本内容更好，这里我们先将其与Requests进行对比。

【Python进阶】Python爬虫-Selenium

10-09

1796

【摘要】本文介绍了Selenium自动化测试工具的基本安装与使用方法。首先详细说明了如何通过pip安装Selenium库（当前版本4.36.0），并推荐手动下载浏览器驱动（如ChromeDriver、GeckoDriver等）。文章重点讲解了Selenium 4的新特性，包括自动检测浏览器版本功能，同时提供了手动指定驱动路径的代码示例。在基本用法部分，展示了如何初始化WebDriver、打开网页、通过多种定位方式（ID/类名/标签名）查找页面元素，以及模拟用户输入操作。最后给出了完整的Selenium操作实

参与评论您还未登录，请先登录后发表或查看评论

selenium爬虫

凌逆战的博客

09-08

712

Web自动化测试工具，可运行在浏览器，根据指令操作浏览器，只是工具，必须与第三方浏览器结合使用，相比于之前学的爬虫只是慢了一点而已。而且这种方法爬取的东西不用在意时候ajax动态加载等反爬机制。因此找标签可以直接F12找，不用确定源码中是否存在。安装 Linux: sudo pip3 install selenium Windows: python -m pip install ...

Selenium爬虫

weixin_51551506的博客

11-23

1万+

判断此定位中的value属性中是否包含text_的内容 text_to_be_present_in_element_value(locator, text_)自动化脚本是由程序去执行的，因此有时候打印的错误信息并不是十分明确。设置的时间单位为秒，例如implicitly_wait(30)，意思是超过30秒没有定位到一个元素，程序就会报错抛出异常，期间会一直轮询查找定位元素。判断此定位中是否包含text_的内容，text_to_be_present_in_element(locator, text_)

selenium　爬虫

weixin_49304690的博客

01-12

1万+

1. selenium爬虫 1.1 selenium概述【1】定义 1.1) 开源的Web自动化测试工具【2】用途 2.1) 对Web系统进行功能性测试,版本迭代时避免重复劳动 2.2) 兼容性测试(测试web程序在不同操作系统和不同浏览器中是否运行正常) 2.3) 对web系统进行大数量测试【3】特点 3.1) 可根据指令操控浏览器 3.2) 只是工具，必须与第三方浏览器结合使用【4】安装 4.1) Linux:

爬虫之selenium--基础篇

m0_70466650的博客

08-14

1773

本文主要讲解如何配置selenium 以及对应的相关操作与案例,指在帮助爬虫爱好者快速入门selenium ，需要相关资料、安装包或技术交流的爱好者可以私聊我一起交流。

精选资源

Python爬虫之Selenium警告框(弹窗)处理

01-19

，而且弹出的窗口是不能通过前端工具对其进行定位的，这个时候就可以通过switch_to.alert方法来定位这个弹窗，并进行一系列的操作。本章中用到的关键方法如下： switch_to.alert：定位到警告框 text：获取警告框...

精选资源

Python爬虫之Selenium下拉框处理的实现

01-19

switch_to.alert.accept()：定位并接受现有警告框(详情请参考Python爬虫 – Selenium（9）警告框(弹窗)处理) click()：鼠标点击事件(其他鼠标事件请参考Python爬虫 – Selenium（5）鼠标事件) move_to_element()...

精选资源

python爬虫使用selenium 实现中英互译

03-23

Python爬虫技术在数据获取和自动化测试中扮演着重要角色，而Selenium作为一个强大的Web浏览器自动化工具，常常被用于模拟真实用户操作，如点击、滚动、填写表单等。在这个项目中，我们专注于使用Selenium实现中英...

python爬虫Selenium库详细教程_python爬虫之selenium库的使用详解

m0_61068496的博客

05-06

895

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）①　2000多本Python电子书（主流和经典的书籍应该都有了）③　项目源码（四五十个有趣且经典的练手项目及源码）⑤ Python学习路线图（告别不入流的学习）添加图片注释，不超过 140 字（可选）②　Python标准库资料（最全中文版）下面是详细的元素查找方法。2.7 获取元素信息。2.7.1 获取属性。2.9.1 隐式等待。2.9.2 显式等待。

Python爬虫：selenium

热门推荐

mengnf的专栏

02-14

2万+

Python爬虫之selenium

爬虫 — 自动化爬虫 Selenium

GitHub质检员

10-16

2106

import time # 导入 time 模块，用于时间相关操作from PIL import Image # 导入 Image 模块，用于图像处理from selenium import webdriver # 导入 webdriver 模块，用于自动化测试和控制浏览器from selenium.webdriver import ActionChains # 导入 ActionChains 类，用于模拟用户操作。

Selenium 爬虫

qq_42052864的博客

12-26

590

selenium爬虫相关总结

selenium 爬虫

u011429899的专栏

09-04

444

https://www.cnblogs.com/Snail-offort/p/8761652.html Selenium 的初衷是打造一款优秀的自动化测试工具，但是慢慢的人们就发现，Selenium 的自动化用来做爬虫正合适。我们知道，传统的爬虫通过直接模拟 HTTP 请求来爬取站点信息，由于这种方式和浏览器访问差异比较明显，很多站点都采取了一些反爬的手段，而 Selenium 是通过模拟浏览器...

Python爬虫之selenium登录

01-16

### 使用 Selenium 实现 Python 爬虫自动登录为了实现使用 Selenium 进行 Python 爬虫自动登录的功能，可以按照如下方法编写代码： #### 导入必要的模块并初始化 WebDriver 首先需要导入 `webdriver` 模块来控制浏览器行为。 ```python from selenium import webdriver # 从selenium导入webdriver [^2] ``` 接着设置 Chrome 浏览器驱动路径，并创建一个新的浏览器实例。 ```python driver_path = 'path/to/chromedriver' # 需要替换为实际 chromedriver 路径 browser = webdriver.Chrome(executable_path=driver_path) ``` #### 访问目标网页并输入用户名密码打开指定的目标网址，在页面加载完成后找到对应的表单元素填充账号信息。 ```python login_url = "https://example.com/login" browser.get(login_url) username_input = browser.find_element_by_name('username') password_input = browser.find_element_by_name('password') username_input.send_keys('your_username') # 替换成自己的用户名 password_input.send_keys('your_password') # 替换成自己的密码 ``` #### 提交表单完成登录动作定位到提交按钮点击它以触发登录请求。 ```python submit_button = browser.find_element_by_css_selector('.btn-login') # 假设类名为 .btn-login 的按钮是提交按钮 submit_button.click() ``` 以上就是利用 Selenium 库让 Python 程序模仿人类操作浏览器的过程[^1]。需要注意的是不同网站的具体结构可能有所差异，因此上述代码中的选择器表达式应当依据实际情况调整。