Python爬虫爬取酷狗TOP500的数据

最新推荐文章于 2025-03-08 19:02:33 发布

xHibiki

最新推荐文章于 2025-03-08 19:02:33 发布

阅读量5k

点赞数 1

分类专栏：爬虫文章标签： Python爬虫 Python

本文链接：https://blog.youkuaiyun.com/xHibiki/article/details/84030433

版权

这篇博客介绍了如何使用Python的requests和BeautifulSoup库爬取酷狗音乐排行榜上的歌曲信息，包括歌曲排名、标题和时长。通过逐页修改URL实现数据抓取，并将抓取的内容写入文件。文章提供了基本爬虫的实现流程，同时也提出了改进爬虫的几个方向，如优化输出格式、拆分歌曲标题、存储到数据库等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

根据书籍《从零开始学Python网络爬虫》P41，综合案例2—爬取酷狗TOP500的数据修改而来.
使用模块requests和模块BeautifukSoup进行爬取.
不得不说，酷狗拿来跑爬虫真是好，不ban不限制IP~

要爬取的页面信息

酷狗TOP500
在这里插入图片描述
需要爬取的信息很少：1.排名 2.标题(歌名-歌手) 3.时长
每页22条信息,需要爬取500/22≈23页
虽然没有手动翻页下一步浏览,但是只要修改网页:
http://www.kugou.com/yy/rank/home/1-8888.html?from=rank 为
http://www.kugou.com/yy/rank/home/2-8888.html?from=rank
就得到第二页的信息.
使用浏览器中审查元素功能,得到: 信息对应的标签属性,使用soup.select()获取标签,再使用tag.get_text()获取文本即可
在这里插入图片描述

代码实现

知道了要爬的标签,写起来就很轻松了,确定流程如下:
1.设置Headers的User-Agent伪装浏览器访问
2.获取酷狗主站的编码格式<meta charset=xxx>,并设置到request中res.encoding,对应的res.text就会重新编码.这样soup在使用lxml解析器时就不会出现乱码了.
3.打开文件kugou_500.txt,设置为写入方式,f.encoding=res.encoding,统一编码格式
4.对23个网页中,每个网页执行一次get_info()获取信息,然后按格式写入到文件kugou_500.txt中.
5.等待爬虫结束,然后查看爬取结果.

from bs4 import BeautifulSoup
import requests
import time
import re

headers = {
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'
}


def