python实现Edge的爬虫

最新推荐文章于 2025-02-26 09:17:17 发布
最新推荐文章于 2025-02-26 09:17:17 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： python 文章标签： python edge 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_46237775/article/details/131328212
版权
该文章介绍了如何利用Python的Selenium库与Edge浏览器的Webdriver进行网页抓取。首先，需要下载并配置Edge的对应驱动。接着，导入必要的库如BeautifulSoup，创建Edge浏览器实例，然后访问指定URL。这个方法常用于网页自动化测试和数据抓取。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

python实现Edge的爬虫

查看Edge的版本号

在这里插入图片描述
在这里插入图片描述

下载对应的驱动 官网驱动链接: link

在这里插入图片描述

  • 根据自己的系统选择相应的驱动
    在这里插入图片描述
  • 解压后放在自己的python的Scripts路径，并改名为 MicrosoftWebDriver
    在这里插入图片描述

安装python库

常用的爬虫库：

最低0.47元/天 解锁文章
python模拟操作edge浏览器，完成问题的采集
weixin_42771529的博客
04-23 5085
今天是自动化操作的第一步，是基础。
python自动操作edge浏览器，登录后保存登录信息及使用带插件的edge
weixin_42771529的博客
04-23 2026
import os# 创建窗口window.title("工作目录管理")# 假设您希望将工作目录路径分别赋值给以下全局变量：# 建立工作目录的函数# 弹出文件对话框，让用户选择目录# 获取当前日期和时间# 创建以当前日期和时间命名的新目录# 在新目录下创建三个文本文件f.write("这里是问题列表\n")f.write("这里是答案列表\n")# 提示用户工作目录已创建print(f"工作目录 '{new_directory}' 已创建。")
【网络爬虫】python+selenium+edge
weixin_45448775的博客
07-20 1190
【网络爬虫】python+selenium+edge
Python+selenium—打开本地Edge浏览器—无需下载驱动器（模板—自己的笔记）
weixin_42636075的博客
02-26 1178
Python+selenium—打开本地Edge浏览器
python爬虫之实现edge无头浏览器和规避检测
qq_55829395的博客
06-26 1575
python爬虫之实现edge无头浏览器和规避检测
python自动打开edge浏览器
weixin_52808469的博客
03-05 1338
【代码】python自动打开edge浏览器。
python—selenium爬虫
2301_77698138的博客
07-23 2047
Selenium爬虫与Requests在多个方面存在显著差异，这些差异主要体现在它们的工作原理、功能特点、适用场景以及性能表现上。在某些情况下，我们使用Selenium爬取文本内容更好，这里我们先将其与Requests进行对比。
selenium爬虫使用Microsoft Edge浏览器抓取网页信息
09-09
以上就是使用selenium爬虫，结合Microsoft Edge浏览器，通过python语言和XPATH获取网页信息的基本步骤。通过这种方式，我们可以实现自动化的网页信息抓取，为数据分析、信息检索等任务提供便利。
python实现Instagram网络爬虫
jlycd的博客
01-27 7814
python实现Instagram网络爬虫instagram爬虫背景介绍爬虫的设计思路大致实现步骤代码数据展示数据简要分析 instagram爬虫 背景介绍 Instagram是国际最大的社交媒体之一。这是一个巨大地相片分享社区群，全世界的网民们可以在Instagram上以快速，出色以及有趣的方式来与朋友分享照片，分享生活，实现信息的即时分享、传播互动。 利用python语言从账户内获取到其个人基本信息：用户简介、发帖数、关注数、被关注数以及发布的图片信息：图片文件、发布时间、点赞数、评论数。通过数据筛选，
Python:实现instagram crawler 爬虫算法(附完整源码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
08-08 798
Python:实现instagram crawler 爬虫算法(附完整源码)
python 爬虫 -----selenium自动化测试工具的使用 + Microsoft edge driver 的安装
Mercury_cc的博客
10-30 492
selenium 的安装 python -m pip --default-timeout=100 install selenium -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com Microsoft edge driver 的安装 下载地址：微软边缘 - 网络驱动程序 (windows.net) ...
Python库 | edge-genome-2.1.1.tar.gz
04-08
资源分类：Python库 所属语言：Python 资源全名：edge-genome-2.1.1.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.youkuaiyun.com/article/details/101784059
学习python，自己写的一个简单的网页爬虫
02-13
自己写的一个爬虫，模仿了python核心编程书里的程序，有详细的注释。 是我一个理解学习的过程吧。 执行robot.py 按照提示输入一个完整的url，单域名结尾需要加/ ，抓取的网页会在脚本目录下生成一个域名的文件夹。
Python分布式爬虫实战(三) - 爬虫基础知识
JavaEdge全是干货的技术号
03-21 780
0相关源码1 技术选型 爬虫能做什么1.1 scrapy VS requests + beautifulsoup做爬虫的时候，经常都会听到 scrapy VS requests+bea...
Python爬虫系列：使用selenium+Edge查询指定城市天气情况
董付国的Python专栏
03-14 475
首先发个福利，有个网店正在推出特价优惠《Python程序设计开发宝典》，原价69.0元，特价46.92元，详情查看：https://detail.tmall.com/item.htm?id...
Python selenium配置Edge
热门推荐
方脩的博客
01-12 1万+
Python使用selenium配置Edge
Python通过selenium操作edge浏览器
维维的博客
08-21 7903
安装selenium 用pip安装selenium包 pip install selenium 下载浏览器驱动 用Python操作浏览器
python调用edge_优化 | 手把手教你用Python实现动态规划Labeling算法求解SPPRC问题
weixin_39603799的博客
12-17 747
本文中的课件来自清华大学深圳国际研究生院，物流与交通学部戚铭尧教授《物流地理信息系统》课程。SPPRC问题带资源约束的最短路径问题(shortest path problem with resource constraints)是一个众所周知的NP-Hard问题。除了作为网络问题直接应用外，SPPRC还用作列生成解决方案方法的基础，用于解决车辆路径规划问题和人员排班问题等...
win11 python 调用edge调试过程
easier_life的专栏
08-20 1349
2、和系统版本对应的exe文件(x86、x64要对应)放置的固定的目录，我放到了system32下了；4、确认安装的selenium的版本要在4.0以上，否则的话不能正常调用；3、PATH路径添加windows/system32目录；5、运行，即可正常调用Edge，并访问百度；
python爬虫edge
最新发布
02-27
### 使用Python编写与Edge浏览器兼容的爬虫程序 为了使Python编写的爬虫能够与Microsoft Edge浏览器兼容，通常会采用Selenium WebDriver作为主要工具之一。Selenium WebDriver允许开发者通过编程的方式控制浏览器执行各种操作，比如加载页面、填写表单、点击按钮等。 安装必要的软件包是启动项目的第一步。对于Windows环境而言，在开始之前需确保已准备好如下组件： - 安装最新版本的Microsoft Edge浏览器； - 下载适用于Edge的WebDriver驱动文件（即edgedriver），可以从微软官方渠道获得对应于所使用的Edge版本的驱动器[^1]； 接着利用pip命令来安装`selenium`库到本地环境中： ```bash pip install selenium ``` 完成上述准备工作之后，则可通过下面这段简单的代码实例展示如何初始化一个针对Edge浏览器的操作对象，并访问指定网址实现基本浏览动作： ```python from selenium import webdriver from selenium.webdriver.edge.service import Service as EdgeService from selenium.webdriver.common.by import By import time service = EdgeService(executable_path="path/to/msedgedriver") # 替换成实际路径 options = webdriver.EdgeOptions() driver = webdriver.Edge(service=service, options=options) try: driver.get('https://www.example.com') element = driver.find_element(By.TAG_NAME,'body') # 执行JavaScript让页面向下滚动一定距离 driver.execute_script("arguments[0].scrollBy(0, window.innerHeight);", element) finally: time.sleep(5) # 延迟关闭以便观察效果 driver.quit() # 关闭浏览器窗口 ``` 此段代码实现了打开Edge浏览器并导航至特定URL的功能，同时演示了怎样调用JavaScript方法来进行页面内的垂直方向上的滚动操作。需要注意的是这里的`msedgedriver.exe`的位置应该替换为你自己解压后的可执行文件的实际位置。 #### 处理可能遇到的问题 当尝试运行以上代码时可能会碰到一些常见错误，例如找不到驱动程序或是无法正常启动浏览器等问题。此时建议检查以下几个方面： - 驱动版本是否匹配当前安装的Edge浏览器版本； - `msedgedriver.exe`所在的目录已被加入系统的PATH变量中，或者是在创建`EdgeService`实例的时候指定了绝对路径； - 如果使用虚拟机或远程服务器部署的话，请确认这些平台上也已经正确配置好了相应的依赖项和权限设置。 另外值得注意的一点是，虽然这里介绍的方法侧重于直接操控真实的浏览器实例，但在某些场景下也可以考虑无头模式(headless mode)，这样可以在不显示GUI界面的情况下高效地完成任务。只需向`EdgeOptions()`添加参数即可开启该特性: ```python options.add_argument('--headless=new') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值