Python爬虫基础教程（105）Pyspider实战：音悦台MusicTop之爬虫编写：Python爬虫实战：Pyspider轻松抓取音悦台榜单，程序员也能成为音乐数据达人！

最新推荐文章于 2025-11-25 15:56:53 发布

原创

最新推荐文章于 2025-11-25 15:56:53 发布 · 933 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #开发语言

只需30行代码，就能让音乐数据手到擒来

前言：为什么你的爬虫总被“拒之门外”？

作为一名爬虫爱好者，你是否经常遇到这样的尴尬情况：精心编写的爬虫代码，却总是无法获取到所需数据？或者刚运行没多久，IP就被网站封禁了？

别担心，这些问题几乎每个爬虫工程师都会遇到。今天，我们就以音悦台MusicTop榜单为例，手把手教你如何用Pyspider框架轻松抓取音乐数据，并应对常见的反爬虫机制。

与Scrapy相比，Pyspider更加类似bs4，修改headers和添加代理更加方便简洁，无需修改中间件。Pyspider就像是爬虫界的“瑞士军刀”——轻便、灵活且功能强大。

第一章环境准备：磨刀不误砍柴工

在开始编写爬虫之前，我们需要先准备好爬虫所需的环境。Pyspider是一个强大的Python爬虫框架，它自带WebUI界面，使得编写、调试和监控爬虫变得更加简单。

1.1 安装Pyspider

安装Pyspider非常简单，只需一行命令：

pip install pyspider

如果你使用的是Windows系统，可能会遇到一些依赖问题，建议先安装pycurl库。可以从https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl 下载对应版本的whl文件，然后通过pip安装。

1.2 启动Pyspider

安装完成后，在命令行输入：

pyspider

然后打开浏览器访问http://localhost:5000，就能看到Pyspider的WebUI界面了。这个界面将帮助我们更方便地创建、调试和监控爬虫任务。

第二章目标分析：知己知彼，百战不殆

在编写爬虫前，我们首先需要明确目标：我们要爬取什么数据？目标网站的结构是怎样的？

2.1 目标网站分析

我们的目标是音悦台网站的音乐榜单，特别是内地篇的榜单。通过分析可以发现，音悦台实时动态榜单有5个，我们这里只爬取内地篇的榜单。

内地榜单共有3页，包含50首歌曲。我们需要获取的数据包括：歌曲名、歌手名、评分以及当前排名。

2.2 页面结构分析

通过浏览器的开发者工具（按F12键），我们可以查看网页的源代码。分析后发现，所有需要的榜单数据都在<li class="vitem J_li_toggle_date" name="dmvLi">这个标签里。这意味着我们只需要定位一次，就可以得到所有数据。

找到这个"神奇"的标签，就像是找到了藏宝图的钥匙——接下来的工作就轻松多了。

第三章爬虫编写：从简单到复杂，循序渐进

有了前面的分析，我们现在可以开始编写爬虫代码了。我们将采用循序渐进的方式，从最简单的版本开始，逐步完善我们的爬虫。

3.1 Alpha版：基础爬虫

首先，我们创建一个基本的爬虫框架，能够抓取并解析页面数据：

#!/usr/bin/env python
# -*- encoding: utf8 -*-
# Created on 2019-09-30 20:00:00
# Project: musicTop

from pyspider.libs.base_handler import *

class Handler(BaseHandler):
    crawl_config = {
    }
    
    # 初始化爬虫URL
    def __init__(self):
        self.url = 'http://vchart.yinyuetai.com/vchart/trends?area=ML&page='
        self.pages = ['1', '2', '3']
        self.urls = []
        for page in self.pages:
            self.urls.append(self.url + page)
    
    # 爬虫启动时调用的方法
    @every(minutes=24 * 60)
    def on_start(self):
        for url in self.urls:
            self.crawl(url, callback=self.index_page)
    
    # 解析榜单页面
    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        # 定位包含数据的标签
        tags = response.doc('li.vitem.J_li_toggle_date').items()
        
        results = []
        for tag in tags:
            # 提取具体数据
            top_num = tag('div.top_num').text()
            mvname = tag('a.mvname').text()
            singer = tag('a.special').text()
            desc_score = tag('h3.desc_score').text()
            
            results.append({
                '排名': top_num,
                '歌曲名': mvname,
                '歌手': sin