【爬虫】使用selenium爬取网易云音乐热评

大数据·流浪法师

已于 2023-11-29 21:15:10 修改

阅读量1.1k

点赞数 14

CC 4.0 BY-SA版权

文章标签：爬虫 selenium windows

于 2023-11-29 20:46:15 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_49184448/article/details/134697890

文章目录

网易云音乐热歌榜单热评
- 完整代码
- 运行结果

网易云音乐热歌榜单热评

在使用selenium爬取网易云音乐热歌榜的基础上深度爬取网易云音乐热歌榜热评
在这里插入图片描述

在爬取到热歌榜单的歌曲url后深度爬取歌曲所有的评论数据，通过F12可以发现所有的评论数据在同一个div标签内，而对于热评来说只需要爬取前十五条数据即可，同时要注意页面中嵌套了frame在爬取时需要使用switch_to.frame()方法来切换页面frame以防定位不到元素。

tps://img-blog.csdnimg.cn/direct/f4d5facfc5bc4de78bfe6adbff878fee.png)

完整代码

from selenium import webdriver
from selenium.webdriver.common.by import By

# Edge驱动
driver = webdriver.Edge()

# 访问网易云音乐热歌榜
print("访问网易云音乐中..")
driver.get("https://music.163.com/#/discover/toplist?id=3778678")
driver

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

大数据·流浪法师

关注关注

14
点赞
踩
17

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Python爬虫实战：爬取网易云音乐热评的完整教程

2201_76125261的博客

05-31

1684

requests：经典同步请求库，易用但性能有限httpx：支持异步和同步，现代化的HTTP客户端aiohttp：异步HTTP客户端，适合高并发扩展爬取更多歌曲、歌单或歌手评论加入情感分析，挖掘用户评论情绪倾向搭建定时任务，做热评实时监控结合歌曲热度数据做趋势预测本文详细介绍了网易云音乐热评的爬取方法，从接口分析、加密机制破解、同步异步爬取方案、浏览器自动化，到数据存储和反爬策略，一应俱全。希望能帮你系统掌握这一热门爬虫项目。你可以根据示例代码自行扩展，实现更复杂的爬取与分析需求。

【爬虫】使用selenium爬取网易云音乐热歌榜

weixin_49184448的博客

11-29

2008

使用selenium爬取网易云音乐热歌榜

1 条评论您还未登录，请先登录后发表或查看评论

Selenium爬取网易云音乐评论

A1L__的博客

08-08

1358

Selenium爬取网易云音乐评论一、爬取工具 1.1 selenium selenium这是一个第三方库我们可以通过 pip install selenium来安装这个第三方库。 Selenium 是一个 Web 的自动化测试工具，最初是为网站自动化测试而开发的，就像玩游戏用的按键精灵，可以按指定的命令自动操作。Selenium 测试工具直接操控浏览器中，就像真正的用户在操作一样。Selenium 可以根据的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否

使用selenium爬取网易云音乐

hanjinjian的博客

05-17

1048

import requests from selenium import webdriver import re import json from queue import Queue import threading from selenium.webdriver.chrome.options import Options class Music: def __init__(se...

使用selenium爬取网易云音乐所有歌单及链接

apollo_miracle的博客

12-15

5795

理论基础：https://blog.youkuaiyun.com/apollo_miracle/article/details/84915796 import time from selenium import webdriver class WYMusic(object): def __init__(self): self.driver = webdriver.Chrome...

使用selenium爬取网易云音乐所有分类的歌单

weixin_43550933的博客

07-04

647

大部分注释都有 import requests from lxml import etree from selenium import webdriver class Music: def __init__(self): self.driver=webdriver.Chrome() #该url为网易云音乐所有分类首页 self.url="https://music.163.com/#/discover/playlist/" #该方法为

使用selenium爬取网易云热门评论（超详细）

Harden13_的博客

07-08

2038

Python利用selenium简单的爬取网易云歌曲排行榜

weixin_44930163的博客

01-19

3236

最近学习了一下selenuim和XPath,技术还很菜,简单的爬取了一下网易云歌曲的排行榜信息,最后保存到mongodb里面要爬取的部分如下图所示: 爬取每个歌曲的排名,名称,时长,歌手。创建mongodb连接对象,指定数据库和集合 # 创建mongodb连接对象 client = pymongo.MongoClient(host='localhost',port = 27017) # 指定数据库 db = client.test # 指定集合 collection = db.songList 创建

python+selenium 爬取网易云音乐评论

qq_41241926的博客

04-20

1525

写在前面本文记录用python+selenium爬取网易云音乐评论，将其保存在文本文档中，每首歌评论用歌名命名。爬取的网站：https://music.163.com/ 抓取效果如图：使用的工具和编辑环境 python 3.6； selenium库，chrome浏览器；编辑器：sublime text3 selenium安装可以直接pip： pip install selenium ...

用selenium进行网易云音乐进行评论爬取

johnchiao的博客

11-11

1161

用selenium进行网易云音乐进行评论爬取，然后做成词云图这个是抓取刀郎-黄玫瑰的评论词云以下是抓取的代码 #!/usr/bin/python # -*- coding: &lt;encoding name&gt; -*- import time from selenium import webdriver import re comment_list = [] # 定义评论列表文件...

python爬取网易云音乐热歌榜实例代码

09-16

在本篇文章里小编给大家整理的是关于python爬取网易云音乐热歌榜实例代码，需要的朋友们可以学习下。

Python + selenium爬取网易云音乐评论

懂一些计算机基础

09-02

1249

需要了解的知识：Python、H5、C3、JS本文使用开发环境：windows11、Python 3.11.4、PyCharm 2023.2、Selenium 4.3.0。

python selenium 爬取网易云音乐歌曲评论

Little Snow White

03-11

1191

目标网站这是评论页思路是先获取这一页全部歌曲的url，然后再逐个访问url获取评论这里主要还是切换iframe的问题打开歌曲的评论页后由于刷新了页面，要再切进iframe 结果：完整代码： import time from selenium import webdriver class Song_Spider(): def __init__(self): ...

Python爬虫之实例---用selenium爬取网易云评论

caribbean666的博客

07-11

1546

Python爬虫之实例---用selenium爬取网易云评论

网易云爬虫评论（Selenium 方式）——part 1 前端内容获取