webmagic+selenium模拟浏览器启动（动态网页爬取方法之一的第一步）

本文链接：https://blog.youkuaiyun.com/without_scruple/article/details/78367412

本文介绍了如何使用webmagic和selenium来模拟浏览器启动，以爬取动态生成的网页。在开始之前，确保已导入所需依赖并安装chrome驱动。如果你在执行过程中遇到问题，可以参考作者的其他两篇博客寻求解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

现在绝大多数网页都是动态生成的，那么学习爬虫就意味着更加困难。若是静态网页，只需要了解如何连接网络和分析网页源代码提取标签信息即可，但是动态网页的话，就需要使用到一些特定的框架来爬取了。比较实用的爬取动态网页信息的其中一个工具就是selenium了。先来看看要怎样使用webmagic和selenium来模拟浏览器启动吧。

代码如下所示：

import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.downloader.selenium.SeleniumDownloader;
import us.codecraft.webmagic.processor.example.GithubRepoPageProcessor;

public class LiuLanQiTest {

	public static void main(String[] args) {
		// TODO Auto-generated method stub
		//selenium系统配置，其中的路径写自己config文件的路径
		System.setProperty("selenuim_config", "D:\\jse-workspace\\WebMagicTest\\Study\\src\\main\\java\\Four\\config.ini");	
		Spider.create(new GithubRepoPageProcessor())//调用一个webmagic中封装好的一个网页爬取类
		.addUrl("http://www.baidu.com")//要爬取的网页
		//浏览器驱动（动态网页信息通过模拟浏览器启动获取）
		.setDownloader(new SeleniumDownloader("D:\\ChromeDriver\\chromedriver_win32(2)\\chromedriver.exe"))
		.thread(3)//启动n个线程（此语句表示启动3个线程）
		.run();//启动爬虫，会阻塞当前线程执行（及n个线程不是同时执行的）
//		。runAsync();//