Python爬虫爬取中国大学慕课MOOC课程的课程评价信息（讨论信息），采用selenium动态爬取方法

本文链接：https://blog.youkuaiyun.com/weixin_43330908/article/details/82959940

本文介绍了如何针对中国大学慕课(MOOC)的动态网页，采用Python的selenium库结合不同的WebDriver（最初尝试了phantomjs，后改为Chrome）进行爬虫开发，以获取课程的评价和讨论信息。由于旧版selenium不支持phantomjs，作者切换到较低版本selenium并搭配32位Chrome浏览器及对应的WebDriver。在实施过程中，作者强调了浏览器版本与WebDriver匹配的重要性，并提醒编程学习者使用Chrome或Firefox便于查看源码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先慕课网是动态网页，不能简简单单采用以前的静态网站的方法，，，所以，，，
我在一开始的时候选择selenium+phantomjs（百度的），后因selenium版本高，不支持后者了，因此我把selenium换成了2.48.0版本，后来发现selenium+phantomjs这种方法运行特别慢，而且我觉得还是有问题，因此开始选择selenium+WebDriver,此方法需要下载chrome浏览器（必需32位），我下载了70.0的浏览器，，对于webDriver必需要下载一个对应支持浏览器版本的版本，如果没有，就选时间最近的，二者还需要在同一目录奥！，具体的话百度一下吧，，学编程的同学最好使用火狐和chrome浏览器奥，看源码方便，我也是小白，下面贴上原创代码奥，经本人运行无误上传分享，谢谢支持！(开头引入的234个库没有用到)

from selenium import webdriver
from time import sleep
import os
import re
from bs4 import BeautifulSoup  #executable_path为chromedriver.exe的解压安装目录，需要与chrome浏览器同一文件夹下
driver=webdriver.Chrome(executable_path="C:\\Users\\Administrator\\AppData\\Local\\Google\\Chrome\\Application\\chromedriver.exe")
url='https://www.icourse163.org/course/BIT-268001'   #爬取Python语言程序设计为例
driver.get(url)
cont=driver.page_source             #获得初始页面代码，接下来进行简单的解析
soup=BeautifulSoup(cont,'html.parser')
#print(soup)
ele=driver.find_element_by_id("review-tag-button")  #模仿浏览器就行点击查看课程评价的功能
ele.click()                      #上边的id，下边