爬虫技术实验报告

一、实验目的
1、通过实验和分析，评估不同的等待机制在Python动态网页爬虫中的使用效果和性能差异。
2、通过对比不同等待机制的优缺点，可以更好地了解何时使用何种等待机制，并选择最适合自己需求的方法。
3、对于网页进行请求，然后抓取所需的内容，最后存储数据，可以了解爬取的过程。
二、实验内容和要求
Exercise 1
1、利用实际的Python动态网页爬虫为例，来了解3种等待(Waits) 机制
2、详细的实作内容可以参考以下的GitHub网址
https://github.com/mikekul116/pythonpchome-scraper
Exercise 2
比较三种等待机制，各自的优缺点
Exercise 3
1、实验分析三种等待机制，各自适用的数据量状态与应用
2、跑一支任意程序，针对不同的等待，连续三次，纪录时间，做成图
Exercise 4
https://www.webscrapingpro.tw/what-is-web-scraping/
实际范例演练
三、实验环境
Python

四、实验方法和步骤
1、利用实际的Python动态网页爬虫为例，来了解3种等待(Waits) 机制
由于提供的代码中的selenium库版本较低，而新版本的selenium库可以不必设置driver.exe路径