网易云歌手爬取

使用Python爬取网易云音乐歌手信息

最新推荐文章于 2021-05-26 17:26:41 发布

原创

最新推荐文章于 2021-05-26 17:26:41 发布 · 305 阅读

3 ·

CC 4.0 BY-SA版权

陆岑卿

文章标签：

#python

本文介绍如何利用Python进行网络爬虫，详细解析爬取网易云音乐平台上的歌手信息，包括获取网页源码、解析HTML、数据存储等步骤，带你深入理解网络爬虫的基本流程。

#需求：获取每一个大分类下的每个子分类下的所有歌手名

#思路：
#1.获取大分类的URL，并请求
#2.获取小分类的URL，并请求
#3.获取歌手名


import requests
from lxml import etree

#定义请求函数
def get_requests(url):
    response = requests.get(url=url, headers=headers)
    return etree.HTML(response.text)

def get_big_type(url):
    #转换成HTML元素对象
    html = get_requests(url)
    #获取大分类的URL
    big_type_list