话不多说,直接上代码,咪咕音乐的网页相对简单比较容易爬取
这个代码只是比较粗糙的完成了爬取工作,还有很多未完善的地方,因为使用的是ChromeDriver,
我们可以直接看到浏览器操作,可以很容易查错
执行此代码前请保证已经安装了下列包及ChromeDriver应用程序
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
browser = webdriver.Chrome()
wait=WebDriverWait(browser, 10)
#歌单标题,url及播放量信息的爬取
def search():
try:
browser.get(