从零开始学习RSelenium爬取网页

一、前言

在爬取房天下小区信息时，发现通过read_html直接打开网址会出现验证码，而通过网页菜单进入则可以正常打开。

为了解决这个问题，想到了用Rselenium来实现。

二、背景

       使用Rvest包抓取静态网页非常方便，但如果如果碰上动态网页，Rvest包则无法满足需求，例如：

1.    要抓取的内容非静态网页，而是js、jquery等查询结果；

2.    网站控制了页面的入口，只能从网站内进入，直接通过网址进入则会出现验证码、需登录等提示从而导致无法抓取页面内容；

3.    需要翻页的时候。（部分翻页也可以通过Rvest包实现）

三、准备

1.    Java开发环境下载及安装。Selenium Server是一个JAVA程序，需要JAVA的开发环境。

下载地址：https://www.oracle.com/java/technologies/javase-jdk14-downloads.html。

建议安装到默认路径，然后配置环境变量，

方法见：ht