python 爬取某音乐平台所有歌单信息

最新推荐文章于 2024-09-03 16:47:21 发布

原创

最新推荐文章于 2024-09-03 16:47:21 发布 · 2.6k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #歌单 #网易云

本文介绍如何使用Python爬取网易云音乐平台上的歌单信息，根据网站的层级结构，从大类到小类，再到具体的歌单和歌曲列表。爬虫技术在面对不断变化的网站结构时，总能寻找到应对策略。

# coding: utf-8
import requests
import os
from lxml import etree
import json
from spider_project.proxies import proxies
import random


class WangYiYunSpider:
    '''爬取所有歌单的信息'''

    def __init__(self):
        self.root_url = 'http://music.163.com'
        self.start_url = 'http://music.163.com/discover/playlist'
        self.classname_list = []  # 所有小类名
        self.class_url = 'http://music.163.com/discover/playlist/?cat={}'
        self.class_url_list = []  # 所有小类url
        self.playlist_urls = []  # 每一小类所有歌单的url
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}
        self.playlist_info = []
        self.classname = ''
        self.proxies = proxies

    def parse_url(self, url=None):
        print(url)
        if url is None:
            resp = requests.get(self.start_url,
                                headers=self.headers,