QQ音乐评论爬虫程序【原创】

利用API爬取QQ音乐评论 Python爬取QQ音乐单曲 爬虫步骤 1.爬虫准备 python安装了request模块,Chrome浏览器,明确目标,本次爬取的是QQ音乐《你不要担心》的前十页评论及对应的用户。 2.爬虫分析 首先我们打开 (QQ音乐网页),然后搜索 你不要担心,点击第一个结果进入歌曲的详情页(你不要担心——李迪),歌曲评论在详情页下方。然后我们打开 QQ 音乐的 robots.txt,看看是否禁止我们爬取,... 阅读详情

在这里插入图片描述
先找到一首歌,把请求参数替换到下面程序中
例如:
‘g_tk_new_20200303’: ‘5381’,
‘g_tk’:‘5381’,
‘topid’:‘102636799’, //歌曲ID
‘cv’:‘4747474’
…
在这里插入图片描述
#此处修改请求的页数
if page >=10:
break

import requests
from urllib import parse
import json
import pandas as pd
import os
import time


page = 0

df_all = pd.DataFrame()

while True:
	comment_url = "https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?"
	headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'}
	params = {
	'g_tk_new_20200303': '5381',
	'g_tk':'5381',
	'loginUin':'0',
	'hostUin':'0',
	'format':'json',
	'inCharset':'utf-8',
	'outCharset':'utf-8',
	'notice':'0',
	'platform':'yqq.json',
	'needNewCode':'0',
	'cid':'205360772',
	'reqtype':'1',
	'biztype':'1',
	'topid':'102636799',
	'cmd':'8',
	'needmusiccrit':'0',
	'pagenum':'0',
	'pagesize':'25',
	'lasthotcommentid':'',	
	'domain':'qq.com',
	'ct':'24',
	'cv':'4747474'
	}

	params= parse.urlencode(params)
	url = comment_url + params
	response = requests.get(url,headers=headers)
	result = response.text
	comment_info = json.loads(result)

	topid = comment_info['topid']
	topic_name=comment_info['topic_name']

	comment = comment_info['comment']
	comment_total = comment['commenttotal']
	comment_list = comment['commentlist'] 
	page_total =int((comment_total-1)/25) + 1
	
	#此处修改请求的页数
	if page >=10:
	    break

	df_all = pd.DataFrame()  
	for i in comment_list:
	    
	    comment_id = i['commentid']
	    avatar_url =i['avatarurl']
	    nick=i['nick']
	    try:
	        content=i['rootcommentcontent']
	    except Exception as e:
	        content = ''
	        
	    comment_time=i['time']
	    timeArray  = time.localtime(comment_time)
	    comment_time = time.strftime("%Y年%m月%d日 %H:%M:%S", timeArray)
	    
	    praise_num=i['praisenum']
	    vip_icon=i['vipicon']
	    if vip_icon == '' :
	    	vip_icon = '未开通会员'
	    else:
	        vip_icon = vip_icon[-9:-4]    
	        
	    df = pd.DataFrame({
	        '评论ID':comment_id,
	        '头像链接':avatar_url,
	        '昵称':nick,
	        '评论内容':content,
	        '评论时间':comment_time,
	        '点赞数量':praise_num,
	        '等级图标':vip_icon
	    },index=[0])
	    
	    df_all = pd.concat([df_all,df], ignore_index=True)
	    
	page = page + 1
	time.sleep(1)
	print("第"+str(page)+"页内容获取完毕")
	
df_all.to_excel(os.getcwd()+"\\"+topic_name+'_'+str(comment_total)+'_最新评论.xlsx',index = False)


在这里插入图片描述
爬取的数量不对,有些删除的评论也在。
只提供思路,仅用于学习

真给力,字节跳动年度首发《音视频开发进阶指南》限时领取,理论与实战齐飞 音视频播放:音视频同步音视频解封和封装:生成一个MP4。 阅读详情

相关推荐

python爬取QQ音乐评论信息

python爬取QQ音乐评论信息

kirinmin 2757

Python爬虫实战(一) QQ音乐评论爬取及可视化分析

说好不哭呢?python爬取5000条QQ音乐评论并进行数据分析 爬虫也快学了一个月了,今天就来分享一下QQ音乐的实战例子吧。以周董的《说好不哭》为例: 首先打开QQ音乐,搜索说好不哭。找到评论区后,使用谷歌浏览器的检查功能,发现评论区的内容是被封装在json中的,如下图所示: 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如...

shine4869的博客 1万+

python爬取qq音乐评论_爬虫:QQ音乐评论

QQ音乐评论有些小伙伴反馈,对于爬虫的完整流程,还是不清楚,这边就按顺序,给大家梳理一下反爬首先查看一下,我们要爬取的网页,是否反爬(各种侵害人家服务器的事情,我们不能干)QQ音乐网址:https://y.qq.com要查看该网页的反爬要求,可以直接在网页后加/robots.txtQQ音乐反爬要求就是:https://y.qq.com/robots.txt看了一下官网不给爬的内容,没有说不可以爬评...

weixin_39747296的博客 2244

【Python爬虫实战】使用Selenium爬取QQ音乐歌曲及评论信息

本文使用Selenium爬取QQ音乐歌曲及评论信息,面向新手,对使用到的技术有简单的介绍,附有完整代码。

ATFWUS的博客 6万+

Python爬虫实战,pymysql模块,Python实现抓取QQ音乐评论

前言 利用Python爬取QQ音乐评论。废话不多说。 让我们愉快地开始吧~ 开发工具 Python版本: 3.6.4 相关模块: requests模块; re模块; pymysql模块; 以及一些Python自带的模块。 环境搭建 安装Python并添加到环境变量,pip安装需要的相关模块即可。 通过这次爬取,学习了数据库MySQL,因为之前都是在windows上操作,而这回需要在Mac上操作,所以就在Mac上安装了MySQL以及MySQL的管理工具Sequel Pro,最后也是安装成功,数据库连接也没有问

weixin_43649691的博客 2573

爬取qq音乐评论完整代码

import requests,openpyxl wb=openpyxl.Workbook() #创建工作薄 sheet=wb.active #获取工作薄的活动表 sheet.title='restaurants' #工作表重命名 sheet['A1'] ='歌曲名' #加表头,给A1单元格赋值 sheet['B1'] ='所属专辑' #加表头,给B1单元格赋值 sheet[...

Nikki0126的博客 2410

Python网络爬虫数据采集实战:Scrapy框架爬取QQ音乐存入MongoDB

​通过前七章的学习,相信大家对整个爬虫有了一个比较全貌的了解 ,其中分别涉及四个案例:静态网页爬取、动态Ajax网页爬取、Selenium浏览器模拟爬取和Fillder今日头条app爬取,基本涵盖了爬虫的大致套路。本文在此基础上进一步深耕,使用Scrapy框架构建分布式爬虫系统,更加接近搜索引擎技术。 目录 一、前期准备 1.Scrapy原理概述 2....

大数据之眸 5180

python爬取qq音乐评论_用Python爬取QQ音乐评论并制成词云图的实例

环境:Ubuntu16.4 python版本:3.6.4 库:wordcloud这次我们要讲的是爬取QQ音乐的评论并制成云词图,我们这里拿周杰伦的等你下课来举例。第一步:获取评论我们先打开QQ音乐,搜索周杰伦的《等你下课》,直接拉到底部,发现有5000多页的评论。这时候我们要研究的就是怎样获取每页的评论,这时候我们可以先按下F12,选择NetWork,我们可以先点击小红点清空数据,然后再点击一次,...

weixin_32480007的博客 861

QQ音乐JS逆向爬虫,获取调皮的sign参数,我用python全都爬!

爬虫高级必然JS逆向,QQ音乐爬虫就是一个很好的练手,读完学会了直接在你女朋友面前装一手,读完你将收获到,QQ音乐JS逆向,sign参数获取,songmid参数获取,vkey参数获取,selenium自动化解析,用python解析执行js代码。

Blog沙漏在下雨 1万+

手把手教你使用Python抓取QQ音乐数据!

【一、项目目标】 通过Python爬取QQ音乐数据(一)我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接。 此次我们在之前的基础上获取QQ音乐指定歌曲的歌词及前15个精彩评论。 【二、需要的库】 主要涉及的库有:requests、json、html 【三、项目实现】 1.以歌曲“泡沫”为例,查看该界面的XHR 2.通过对XHR的Size进行排序,逐个查看(参考英文含义),我们看到第一个红框内是歌曲评论,第二个框内是歌词! 3.分别查看这两条..

爬遍所有网站 7663

Python爬虫练习——爬取QQ音乐精彩评论(编码问题请高人指点!)

2020年2月17日,采用Requests模块以及正则表达式完成了一次爬虫练习… 爬取QQ音乐精彩评论 代码如下(欢迎各位指正): import requests import re #获取网页源代码 def get_code(url): headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:7...

weixin_46291428的博客 1334

爬取QQ音乐中一首歌的相关信息及评论(破解反爬虫、多协程队列爬虫)

刚写完这个实验作业,顺便来记录一下一些易错的地方: 一、页面预览 先从歌手页爬取到这首歌的相关信息,包括它歌曲、专辑的url。这里要说一下,刚开始在歌曲详情页、播放器页面找了很久都找不到爬取歌曲时长的地方,结果!当我打开歌手页的时候,发现: 这不明摆着的吗??? 所以呀,在爬虫之前,一定要先对相关页面有足够的了解! 上面的内容直接用Beautiful Soup4 数据解析就能搜集到。 二、其他信息 歌词:进入详情页爬取 通过抓包,发现是个ajax请求,点开注意一下url和请求方式、返回数据类型即可。

Mxeron的博客 4696

Python 爬虫实战:深入 QQ 音乐,抓取原创音乐播放量与评论数据

通过本次 Python 爬虫实战,我们成功地从 QQ 音乐爬取了原创音乐播放量与评论数据,并进行了存储、处理、分析和可视化展示。在这个过程中,我们不仅掌握了爬虫技术的基本应用,还学会了如何对动态加载的数据进行处理和分析。然而,本次爬虫任务也存在一些局限性,例如仅爬取了部分音乐的数据,且未对音乐的详细内容进行深入分析。在未来的工作中,我们可以进一步优化爬虫程序,爬取更多音乐的数据,并深入分析音乐的内容、用户行为模式等,为音乐创作者和平台运营者提供更有价值的数据支持。

u014481728的博客 1360

QQ音乐爬虫(with scrapy)/QQ Music Spider

QQ音乐爬虫(with scrapy)/QQ Music Spider 项目介绍 项目github地址:QQ音乐爬虫 在写一个项目的时候需要用到一些音乐的信息,但是在网上找了许久也没找到满意的音乐语料,于是便用scrapy写了一个QQ音乐的爬虫 由于本人只需要用到中文歌曲,所以仅使用该爬虫爬取了QQ音乐中排名前6400名的内地和港台歌手的49万+的歌曲信息,该资源也分享到了百度云(该资源仅用于学...

红雨瓢泼的博客 4429

硬件级Dalvik字节码粒度无痕HOOK及VMP取址码定位分析

2.通过硬件读写断点的输出信息 可知pc寄存器就是art解释器的取码地址 直接硬件执行断点在这个pc 即可直接trace所有的smali执行流 通杀所有机型系统。本文即将探讨的是 如何在硬件级别实现dalvik bytecode粒度的无痕拦截技术 并实现鼠标点击一键hook 指哪儿打哪儿 感受 button power 的强大魅力!4.由于硬件断点是同步的 断下后可随时硬件dump下这一瞬间的app内存映像 写入unicorn的内存模拟执行。解释器在解释执行前必会读取内存中的bytecode。

2503_90751789的博客 1086

金桔智慧物流之容器(托盘、周转箱等)定位及周转方案原理

金桔智慧物流之容器(托盘、周转箱等)定位及周转方案原理 在物流行业种,托盘是标准化运输的关键的配件,而容器存在丢失、盘点、闲置等管理问题。如何通过信息化的手段提升容器的寿命,提高调配效率,降低闲置是物流容器行业的关键点。 金桔蓝牙网关配合金桔蓝牙资产管理终端可以解决物流行业痛点问题。 容器管理面临的问题: 技术方案 场景描述之库房 场景描述之车辆 场景描述之终端 方案优势 ...

jinjufocus的博客 1183

python爬虫基础Ⅱ——Ajax数据爬取、带参请求:QQ音乐歌单、QQ音乐评论

文章目录基础爬虫部分Ⅱjson1. Network2. XHR怎么请求?3. 什么是json?4. json数据如何解析?带参数请求1. 复习2. params3. 添加Headers 基础爬虫部分Ⅱ json 有点不知从何说起,那我就乱来了鸭 XD 现在呢,我想获取QQ音乐里周杰伦的歌曲清单。按照前边说的,可能会写出这样的代码: import requests from bs4 import...

早睡早起 2005

使用TEA5767和stm32制作一台数字FM收音机

本节我们来使用stm32控制一款集成收音机芯片TEA5767,来制作一台FM收音机。 TEA5767是一款低功耗立体声收音IC,接收频率76MHz~108MHz(适应日本/美国/欧洲各FM频段选择)并可以使用软件进行静音和消除噪音。 主要电性能指标:工作电压:2.5V~5.0V,工作电流10mA,立体声分离度30dB,信噪比60dB,输出信号电平75mV。支持I2C总线通信、3-wire总线。 1)硬件设计 TEA5767芯片外围需要搭配较多的电阻、电容、电感、晶振等器件,而且高频电路的PCB设

小白白学电子 1万+

基于Python的QQ音乐数据爬取分析与可视化(附源码)

通过对QQ音乐平台上的数据进行爬取、分析和可视化,可以更好地了解音乐市场的需求和趋势,为音乐推荐、版权管理等方面提供支持。通过对数据的分析和可视化,可以深入了解QQ音乐平台上歌曲、歌手、用户等方面的信息,为用户提供更好的音乐推荐服务,为音乐产业提供更为准确的数据支持。在音乐领域,通过对用户偏好、音乐市场趋势等数据进行分析和预测,可以为音乐服务提供更为精准的推荐和管理。通过本文的研究,我们成功利用Python编程语言对QQ音乐平台的相关数据进行爬取、分析和可视化,为音乐领域的数据研究提供了新的思路和方法。

Dalu_1226的博客 5139

Vivado2019.1 ZYNQ7020无Uart SDK调试打印调试信息xil_printf

Vivado2019.1 ZYNQ7020无Uart SDK调试打印调试信息xil_printf

泛红尘的博客 2998

Qwen2.5-Omni实战:5分钟搞定多模态AI模型本地部署(含Thinker-Talker架构解析)

本文详细介绍了Qwen2.5-Omni多模态AI模型的本地部署流程,包括硬件配置、环境准备和实战应用开发。特别解析了其创新的Thinker-Talker架构,该架构通过TMRoPE位置编码实现跨模态同步处理,大幅提升多模态任务效率。5分钟即可完成部署,适合开发者快速实现文本、图像和音频的联合处理。

weixin_29085865的博客 172

python爬取qq音乐评论_教你用Python爬去QQ音乐评论

有态度地学习去年夏天,好像于我而言,重要的事就是毕业来临,从此踏上了搬砖之路,从学校到职场,之间身份的转变,让我又多了一份责任。当然还有一段感情经历,现在回头去看,只能说且行且珍惜,或许以后未必能再遇见!本次爬取的是QQ音乐的评论信息,作为一名基本不看评论的人,真的羞愧难当。不过音乐嘛,听听就不错啦,哪有闲情雅致去看,又或是去评,毕竟文化水平有限,想想就脑瓜疼。通过这次爬取,学习了数据库MySQL...

weixin_39830906的博客 846

ZYNQ软件复位重启、程序跳转的实现方法(Multiboot)

目录一、增加FSBL的调试信息 一、增加FSBL的调试信息 启动过程的调试信息如下: Xilinx First Stage Boot Loader Release 2016.4 Jan 19 2020-10:35:00 Devcfg driver initialized Silicon Version 3.1 Boot mode is QSPI Single Flash Informat...

weixin_41922484的博客 2万+
上一篇: ChatGPT生成的docx文档压缩Python代码
下一篇: AI文档降重润色校对处理器
陈增林
博客等级 码龄10年 213粉丝 66原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

陈增林

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值