R语言RSelenium包爬取动态网页数据前期准备（环境配置）-连载NO.01

原创 已于 2025-05-23 21:21:36 修改 · 2.3k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#R语言 #爬虫 #动态网页 #Rselenium #环境配置

于 2019-04-22 22:22:48 首次发布

生而为人，学无止境。

作为爬虫爱好者，最开始的时候多少都会遇到爬取的时候返回各种bug，抓头挠耳吧；

R语言爬虫的包基础的就是rvest和RCurl，解析的就是xml包，当然你还得有html、css、http协议；

但基本的包仅对于静态网页的爬取比较有效，而对于动态网页（渲染网页）就没用了；

接下来写一下R语言里面对于动态网页爬取（AJAX异步渲染/加载网页）的前期环境配置/搭建（模拟浏览器操作）。这里讲的是Rselenium的，至于Rwebdriver包的话类似，但现在它的包不好下载。

1、基于Rselenium包的环境搭建

install.packages("RSelenium")
library(RSelenium)
#浏览器控制函数
remdr <- remoteDriver(browserName ="firefox")

# 打开浏览器，运行这你会很惊喜
remdr$open()

若你直接下载Rselenium并加载，然后打开浏览器的话就会立马报错：

当然这肯定是错误的做法，但同时你也可以看到它的一点提示：Unable to create new service: GeckoDriverService

GeckoDriver是firefox浏览器的驱动，忘了说，这里是以firefox浏览器为例哦，支持的其他浏览器如chrome类似。

你需要去下载firefox的这个驱动文件，然后放到你安装firefox的目录下。

2、firefox浏览器安装后需要将其安装路径加到系统环境变量中去，记得要把GeckoDriver放到你的浏览器安装目录下。

下载地址：

最低0.47元/天 解锁文章
R语言爬取动态网页：使用RSelenium包和Rwebdriver包的前期准备
偷闲阁
01-04 1万+
　　在使用rvest包抓取新浪财经A股交易数据中我们介绍了rvest包的用法，然而rvest包只能抓取静态网页，而对诸如ajax异步加载的动态网页结构无能为力。在R语言中，爬取这类网页可以使用RSelenium包和Rwebdriver包。 　　RSelenium包和Rwebdriver包都是通过调用Selenium Server来模拟浏览器环境。其中，Selenium是一个用于网页测试的Java...
R语言爬虫实例 初学者自用
Evelyyyyyyyyyn_的博客
11-17 5260
本文记录了使用rvest & RSelenium 包进行爬虫与网页渲染的相关知识点及本人的编程操作过程。涉及到基本爬取操作、爬取缺失部分如何处理、操作网页过滤等步骤。
R语言基于Rselenium模拟浏览器抓取DatabaseCommons数据-连载NO.04
最新发布
发财的小手点点关注！
10-30 222
A：关于代码的注释没有非常详细说明，但代码都是经过实际数据抓取反复使用的，有兴趣和需要可以搭建好环境后尝试B：针对抓取效率没有进行优化，在时间上有要求的需要自行调整判断和增加逻辑。
从零开始学习RSelenium爬取网页
Colinxie___的博客
08-12 860
一、前言 在爬取房天下小区信息时，发现通过read_html直接打开网址会出现验证码，而通过网页菜单进入则可以正常打开。 为了解决这个问题，想到了用Rselenium来实现。 二、背景 使用Rvest包抓取静态网页非常方便，但如果如果碰上动态网页，Rvest包则无法满足需求，例如： 1.要抓取的内容非静态网页，而是js、jquery等查询结果； 2.网站控制了页面的入口，只能从网站内进入，直接通过网址进入则会出现验证码、需登录等提示从而导致无法抓取页面内容； 3....
R语言：RSelenium包爬取动态网页
热门推荐
偷闲阁
01-07 1万+
目前很多网站的数据采用异步加载的方式呈现，以进口商品统计月报为例，当我们点击下一页时，表格中的数据会更新，但是网站的URL不会发生变化。对于这种网站，如果使用rvest包或RCurl包进行爬取，只能抓到第一页的数据。不过不用担心，对付这种情况，可以使用R语言中RSelenium包。 　　RSelenium包可以通过调用Selenium Server来模拟浏览器环境，它可以模拟浏览器的点击、滚
R语言爬取动态网页之环境准备
weixin_30938149的博客
08-03 377
　　在R实现pm2.5地图数据展示文章中，使用rvest包实现了静态页面的数据抓取，然而rvest只能抓取静态网页，而诸如ajax异步加载的动态网页结构无能为力。在R语言中，爬取这类网页可以使用RSelenium包和Rwebdriver包。 　　RSelenium包和Rwebdriver包都是通过调用Selenium Server来模拟浏览器环境。其中，Selenium是一个用于网页测试的Ja...
R语言基于selenium模拟浏览器操作进行（AJAX渲染网页、动态网页）数据爬取-连载NO.02（更新中）
发财的小手点点关注！
05-21 2285
R语言动态网页数据爬取用法连载NO.02 selenium是一个开源的软件套件。selenium通过浏览器控制与网页进行交互，这样我们可以操作实时DOM树（浏览器窗口中视觉显示的方式）。 selenium可以控制浏览器实现文本输入、点击、滚动、滑动的操作。 可进行身份验证哦 使用selenium之前需要初始化selenium jav...
【IT专家】[python爬虫]Selenium定向爬取海量精美图片及搜索引擎杂谈------(1).pdf
07-24
在进行定向爬取精美图片的过程中，Selenium可以先加载整个网页，然后通过分析网页源代码或利用开发者工具中的元素定位方法，精确定位到图片链接。此外，Selenium还支持与浏览器插件如Tampermonkey配合使用，从而实现...
R爬虫RSelenium环境搭建及简单应用
weixin_44349986的博客
08-11 1949
这是鄙人自己实践的一种可行的环境搭建，我会尽量详细的写下大家步骤。
R语言爬虫：RSelenium包常用函数
偷闲阁
01-09 7144
文字太多，一眼找不到要找的内容？ Ctrl+F 即可查找~ 　　使用RSelenium包控制浏览器主要依靠remoteDriver系列函数: 　　remoteDriver( remoteServerAddr, 　　　　　　　　　port, 　　　　　　　　　browserName, 　　　　　　　　　path, 　　　　　　　　　version,
RSelenium：Selenium远程WebDriver的R客户端
02-05
RSelenium：Selenium远程WebDriver的R客户端
dcom配置_在R里面配置selenium爬虫环境
weixin_39761422的博客
11-23 235
普通的爬虫，其实什么编程语言都差不多，因为都是网页的html源代码字符串的解析而已，但是很多网页是具有防止爬虫的功能，就是无法直接获取html源代码字符串，需要通过JavaScript来互动。比如：https://shuju.wdzj.com/无论用户点击网页的什么内容，该网页的url都不变化，全部的内容都是数据库实时更新出来。所以我们的代码也需要跟这个网页进行交互，模拟JavaScript进程...
RSelenium基本用法总结
默默耕耘，阶段爆发，取长补短，修炼身心
08-02 4614
有些数据在script标签里面的js动态脚本中，普通请求器如RCurl和httr没有权限办到(少了中介浏览器引擎来渲染这些HTML源文档。因此请求到的HTML文档是静态的，不包括HTML文档中那些重要的嵌套在script标签中的数据) RSelenium和Rwebdriver都是通过调用Selenium Sever来模拟浏览器环境，Selenium是一个用于网页测试的Java开源软件，可以模拟浏...
Window下R语言启动Rselenium
Blackrosetian的博客
02-13 1059
首先下载Selenium，下载好之后打开命令窗口，将Selenium的jar包放入命令窗口的路径下，输入 java -jar selenium-server-standalone-3.9.1.jar最后显示Selenium Server is up and running on port 4444，表示已经启动成功！使用RSelenium包控制浏览器主要依靠remoteDriver系列函数:　　r...
一文排除R语言抓取动态网页（selenium）所有的坑
Python爱好者的专栏
01-20 2510
      最近一直在搞R语言结合自然语言处理，分析公司研究报告相关的课题，但是鉴于单位的数据不能拿出来研究，所以周末在家只能看看如何从网上抓取相关数据了，效果也还不错，可以在网上把各大券商的相关研究报告的评级，推荐时间，股票代码以及研究报告的文本全部抓取出来。具体如下图，示例可在https://download.csdn.net/download/beyondma/10928992下载： ...
RSelenium学习笔记（一）
hawkingliu的博客
04-21 3372
一、介绍RSeleium的目标是让R更容易的连接Selenium Server。 RSelenium绑定了R与Selenium Webdriver API。详细介绍见 官方原文二、如何连接Selenium Server下载并配置Selenium和WebDrivers在Windows的command line中，定位到Selenium jar包所在文件夹，输入命令： java -jar seleni...
链家网页爬虫_基于RSelenium的动态爬虫
weixin_42318727的博客
12-19 248
今天代码中，我们在之前链家静态爬虫的基础上，使用RSelenium在链家官网检索“上海交通大学”，并爬取相关搜索结果。关于Selenium 和Docker的介绍，可以去看电子讲义(https://dongboshi.github.io/Data-Engineering/)。if(!require(RSelenium)){ install.packages("RSeleniu...
java回车后自动从一个文本框切换到另一个_第4课：一个周末学会R语言数据采集： Selenium常用操作...
weixin_39855706的博客
11-30 203
本章目标：掌握RSelenium核心操作，可以用R自动化控制浏览器。一、什么是RSeleniumRSelenium是一个R语言下的包，通过这个包，我们可以通过脚本控制浏览器进行浏览、点击、输入内容、解析数据等操作，实现R语言的自动化数据爬取。二、打开RSelenium包打开cmd启动Selenium Server（不要关闭）java -Dwebdriver.chrome.driver="C:Use...
Rselenium包定时自动爬取网页的方法
Colinxie___的博客
10-21 814
当需要持续更新通过爬虫获取的数据时，我们通常可以设置定时任务自动爬取，而不用每次人工运行爬虫程序。 通过R语言中的Rselenium包爬取数据需要先启动服务器，所以定时爬取就不只是运行一个R语言脚本程序即可。 要设置R语言Rselenium包定时自动爬取网页有两个方法： 方法1.先设置定时任务启动服务器（selenium-server-standalone-4.0.0-alpha-2.jar），再设置另一个定时任务运行R语言脚本程序。 ...
Selenium中爬取动态网页并解析数据
04-30
### 如何使用 Selenium 爬取动态加载的网页数据 #### 1. 安装依赖库 为了使用 Selenium 进行爬虫开发，需先安装必要的 Python 库。以下是常用的库及其功能说明： - `selenium`：核心库，用于控制浏览器行为。 - `webdriver-manager`：管理 WebDriver 版本兼容性问题。 可以通过以下命令安装所需库[^3]: ```bash pip install selenium webdriver-manager pandas ``` --- #### 2. 初始化浏览器实例 初始化浏览器时需要指定驱动程序路径以及设置选项参数。下面是一个完整的初始化代码示例： ```python from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.chrome.options import Options from webdriver_manager.chrome import ChromeDriverManager # 设置 Chrome 浏览器选项 chrome_options = Options() chrome_options.add_argument("--headless") # 启用无头模式（不显示界面） chrome_options.add_argument("--disable-gpu") chrome_options.add_argument("--no-sandbox") # 加载 Chrome 驱动并启动服务 service = Service(ChromeDriverManager().install()) driver = webdriver.Chrome(service=service, options=chrome_options) print("浏览器已成功初始化...") ``` 此部分实现了自动化下载适合当前系统的 ChromeDrive 并启用无头模式运行[^3]。 --- #### 3. 访问目标网站 通过调用 `get()` 方法访问目标 URL 地址。例如： ```python url = "https://example.com" driver.get(url) time.sleep(5) # 等待页面加载完成 ``` 这里引入了固定时间延迟以便于观察效果；但在实际应用中建议采用显式等待策略以提高效率和稳定性[^2]。 --- #### 4. 显式等待机制 对于动态加载的数据，可能无法立即获取到所需的 DOM 节点。因此可以利用 Selenium 提供的强大等待工具——WebDriverWait 来解决这一难题。具体实现如下所示： ```python from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By try: # 等待特定条件满足后再继续执行后续逻辑 wait = WebDriverWait(driver, timeout=10) dynamic_content = wait.until( EC.presence_of_element_located((By.XPATH, "//div[@class='dynamic-content']")) ) except Exception as e: print(f"发生错误: {e}") finally: pass ``` 上述代码片段展示了如何定义一个最长超时时间为 10 秒钟的对象，并结合预期条件判断某些元素是否存在或变得可交互状态之前暂停脚本进程直至达到设定时限为止[^2]。 --- #### 5. 数据提取与处理 一旦确认所有必要组件均已就绪，则可通过查找对应标签名或者属性值等方式定位感兴趣的信息节点进而读取出其内部文本内容或者其他形式的表现形式。比如我们要收集一组商品名称列表的话就可以这样做: ```python items = driver.find_elements(By.CLASS_NAME , 'product-name') names = [item.text.strip() for item in items] df = pd.DataFrame({'Product Names': names}) print(df.head()) # 关闭会话释放资源 driver.quit() ``` 这段示范演示了怎样运用 Pandas 将所得结果保存成 DataFrame 表格结构便于进一步分析研究[^3]. --- ### 总结 综上所述，借助 Selenium 工具包能够轻松应对各种复杂的网络请求场景尤其是那些基于 JavaScript 渲染生成的内容展示情况下的抓取任务。不过需要注意的是，在大规模部署前还需考虑性能优化措施如减少不必要的渲染次数、合理安排线程池大小等因素影响整体表现水平。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

刺猬多情

一分钱都是爱

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值