python多线程爬虫爬取喜马拉雅网页所有带id的音频

最新推荐文章于 2025-05-20 16:33:45 发布

原创

最新推荐文章于 2025-05-20 16:33:45 发布 · 1.5k 阅读

3 ·

CC 4.0 BY-SA版权

本文介绍了使用Python进行课程设计，通过多线程爬虫技术爬取喜马拉雅网站上的所有带有ID的音频，详细阐述了设计流程、代码实现和最终效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本学期python课程设计：

设计流程图：

代码实现：

#-*-coding:utf-8-*-
import requests
import re
import os
import multiprocessing
import time
from bs4 import BeautifulSoup

def save_path():
    if os.path.exists(str('D:/') + str('ximalaya')):
        pass
    else:
        os.mkdir(str('D:/') + str('ximalaya'))
    file_name = 'D:/' + str('ximalaya')
    os.chdir(file_name)
    if os.path.exists(file_name + str('/mp3/')):
        pass
    else:
        os.mkdir(file_name + str('/mp3/'))
    mp3file_name = file_name + str('/mp3/')

    if os.path.exists(file_name + str('/geci/')):
        pass
    else:
        os.mkdir(file_name + str('/geci/'))
    gecifile_name = file_name + str('/geci/')
    return gecifile_name,mp3file_name

def job(i,id,url1):
    mp3_title = []
    header = {