Python爬虫之js加密破解,抓取网易云音乐评论生成词云

【Python/爬虫】爬取网易云音乐评论区热评(练习) 【Python/爬虫】爬取网易云音乐评论区热评(练习) 简单爬取PC端网易云音乐评论区 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。 提示:以下是本篇文章正文内容,下面案例可供参考 一、pandas是什么? 示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建 阅读详情

js破解历程

  • 前言
  • 技能点
  • 界面概况
  • 静态网页动态网页
  • 页面解析
  • step1: 找参数step2:分析js函数step3:分析参数step4: 校验step5:转为python代码
  • 编写爬虫

很多人学习python,不知道从何学起。
很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。
很多已经做案例的人,却不知道如何去学习更加高深的知识。
那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!??¤
QQ群:623406465

前言


网络爬虫的大障碍,就是各种加密。这其中包过登录的验证码以及加密。js混淆、js参数加密等等。其实以前也就了解过js加密。但是没有深入研究,借着这次实践研究了一下网易云音乐的加密方式。

博主通过网易云音乐评论加密的实例来做个学习过程的分析和分享。

如果有问题或者不懂的地方可以关注我的微信公众号(bigsai),联系我。

技能点

  • 前端:js知识(比较重要)、谷歌浏览器debug、抓包、打断点调试能力(必须)。以及js各种加密函数(了解).
  • python:基础的请求requests。Crypto.Cipher加密解密模块。
  • 其他:postman(模拟请求使用),良好的思维能力和分析能力。(加密算法有些乱),还有一点就是js加密转python的代码实现。

界面概况

静态网页

对于一般的url随着页面的变化而变化的页面,网易云还是有的,你只需要抓取网页进行分析即可。

动态网页

但随着前后端分离的流行,以及数据分离好处明显。越来越多的数据采用ajax渲染。而网易云的评论即使如此。
在前后端分离刚火,那时很多网站对借口并没有太大的防护措施。就使得很多网站轻松获取结果。至今也有很多这样的借口存在,这种网站爬去就是傻瓜式爬取。


然而随着前段技术的发展,接口也变的越来越棘手。就拿网易云的评论来说:它的参数就让人很懵逼。


这一串串数字到底是啥。很多人见到这样的数据就会选择放弃。那么让我为你解开它什么的面纱。

页面解析

step1: 找参数

你可以看的到,它的参数有两个,一个是params,一个是encSecKey并且都是经过加密的,我们就要分析它的源头。F12打开source搜索encSckey.

'在查找这个js内部的encSecKey,发现原来在这里,经过断点调试发现这里就是最终参数的结果。

step2:分析js函数

这个js有4w多行,如何能在4w多行js中找到有用的信息,然后理清楚这里的思路呢?

Python爬虫练习:爬取网易云音乐评论(2024附完整代码) 爬取网易云音乐评论(2024附完整代码) 阅读详情

相关推荐

网易云歌曲评论抓取

网易云歌曲评论抓取

kirinmin 2567

网易云音乐python爬虫(Js破解)

网易云音乐下载python爬虫(Js破解) 最近做了一个网易云音乐下载的python爬虫,功能就是输入歌曲的名字,程序自动下载网易音乐搜索界面的第一首歌(一般都是原唱排第一位)。本文很适合小白学习,写的很详细,不信的话你试试看!! 需要用到的工具 1.python3.7 2.chrome浏览器 3.sublime编辑器 话不多说,下面开始讲解流程。 主要流程 1.在网易云音乐搜索框中输入“成都”,...

xiaoming_xiaoli的博客 1万+

爬取网易云音乐评论,破解网易云加密算法

Python 爬虫实例之爬取网易云音乐评论

W1gHontheway的博客 3433

Python爬虫实战之爬取web网易云音乐——解析

网易云音乐爬虫,以python代码中execjs模块进行爬取,对细节进行具体的分析。

date3_3_1kbaicai的博客 1万+

python3抓取网易云音乐评论

闲来无事,爬点网易云音乐评论进行分析,准备做音乐推荐模型来用...... 记得以前爬取网易云歌曲的时候,有个api,get请求就能获取得到数据,发现现在用不了,没事那就重新写呗 要爬取评论,必须先获取歌的id才可以,我是从歌手开始爬起: 流程是先获取左边的大列表:   每个大列表中获取乐队和歌手   进入每个歌手或乐队,抓取每首歌的id: 抓取id,就是这么简单,抓过...

u010460422的博客 1894

通过网易云API爬取评论

网上的爬取网易云评论的方法大多数是讲如何构建参数去破解它的一些加密,然后再去爬取评论。 但是我们可以通过网易云的API接口,因为它是属于非加密的get请求,所以难度就直线下降。 这里有一点需要注意: 在一首歌每页显示20条评论的情况下,只有前500页是不重复的评论,从500页之后都是第500页的内容。在网页端和pc端都是这样。也就是说我们只能爬取到最多2万条数据。 同时在XHR中发现获取不到的评论...

那个她,的博客 3651

网易云音乐获取音频链接(爬虫)破解params参数

网易云音乐params和encSecKey参数的生成 工具:谷歌浏览器,reres浏览器插件,python3,requests_html库 关键词:js逆向,js的AES加密,爬虫 1.首先打开网易云音乐的歌单 进入一个能听到音乐的页面搜索音乐文件,因为在线听歌要求加载文件速度快,体积小,所以候选音频文件有:mp3, m4a, acc。一番操作果然找到json格式的文件,找到音乐文件地址,接下来查看请求参数 2.经过一些列的请求发现,只有两个参数是全局的关键,params和encSecKey,搜索数值未

qq_38393270的博客 6882

python实战:破解网易云音乐params及encSecKey加密参数实现歌单内任意歌曲下载(附参数分析过程)

**1、**首先我们打开歌单内的任意一首歌曲,在该页面下打开chrome的开发者工具后切换到Network后重新刷新页面,找到请求到该歌曲播放源的URL,如下图: 找到后切换到Headers,可以看到其为一个post请求,URL为:‘https://music.163.com/weapi/song/enhance/player/url?csrf_token=’ ,从上图可知这个URL返回的是js...

我的ID是局长大人的博客 1万+

网易云音乐评论爬取:JS逆向破解AES+RSA混合加密参数

在Web数据采集领域,前端加密是保护API接口数据的常见技术手段,其核心原理是通过客户端JavaScript对请求参数进行混淆或加密,以防止未经授权的直接调用。其中,AES对称加密与RSA非对称加密的混合应用是一种典型且安全的方案:AES用于高效加密业务数据,RSA则用于安全传输AES密钥。这种技术能有效保障数据传输的机密性与完整性,广泛应用于涉及用户隐私或核心业务数据的场景,如社交媒体、电商平台和在线音视频服务。理解并逆向此类加密逻辑,是进行合法技术研究、安全审计或合规数据采集的关键。本文以网易云音乐评论

weixin_30516243的博客 334

【ROS2】MOMO的鱼香ROS2(三)ROS2入门篇——ROS2第一个节点

【ROS2】MOMO的鱼香ROS2(三)ROS2入门篇——ROS2第一个节点

qq_44703886的博客 3614

用Charles抓包调试iOS应用?这份保姆级配置指南帮你绕过所有坑

本文提供了一份在Mac上使用Charles抓包调试iOS应用的保姆级配置指南。详细讲解了从Charles安装、Mac端代理设置、根证书安装,到iOS设备连接同一WiFi、配置代理以及最关键的系统证书信任等全流程步骤,并分享了SSL代理规则、断点调试等进阶技巧,帮助开发者高效定位和解决网络请求问题。

rice5的博客 640

Keil 编译输出信息分析:Program size: Code, RO-data , RW-data, ZI-data

一般 MCU 包含的存储空间有:片内 Flash 与片内 RAM,RAM 相当于内存,Flash 相当于硬盘。编译器会将一个程序分类为好几个部分,分别存储在 MCU 不同的存储区。如图所示,在Keil中编译工程成功后,在下面的Bulid Ouput窗口中会输出下面这样一段信息。

qq_40305944的博客 4578

STM32F407-OV7670(无FIFO)-ONENET-实现摄像头画面上传到onenet(EDP协议)

EDP协议 EDP协议文档说明:https://leoeinstein.lanzous.com/ifX1Ckfkaaf 服务器登录 登录流程: (1)客户端发送连接请求(CONN_REQ) (2)服务器验证请求的合法性 (3)服务器发送一个回执(CONN_RESP)给客户端 其中请求包含三部分:消息头、选项和消息体。 1、消息头 包括消息的类型和剩余消息长度。 2、选项 包括协议名称、协议版本、连接标志、保持连接时间。 3、消息体 可能包含设备ID、用户ID(可选)、鉴权信息(看采取什么方式登录)。 设备

LiangWF22的博客 1万+

专栏三:解析spatialCNV的使用

文章Spatially resolved clonal copy number alterations in benign and malignant tissue发在natur

m0_58549466的博客 1252

海思3403烧结、复用及mic输入

3403调试的第一步是版本烧结,版本烧结经常遇到问题,本文记录总结遇到的各种问题。

平面到立体 1354

selenium绕过检测,规避检测

现在不少大网站有对selenium采取了监测机制。比如正常情况下我们用浏览器访问淘宝等网站的 window.navigator.webdriver的值为 undefined或者为false。而使用selenium访问则该值为true。那么如何解决这个问题呢?我们正常浏览器登录查看,window.navigator.webdriver的值为false我们通过selenium打开的网页,测试,可见window.navigator.webdriver的值为true。

景天科技苑 1万+

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

上一篇: Python反反爬虫实战,JS解密入门案例,详解调用有道翻译
下一篇: Python爬虫教程:你还在苦苦拉票吗?刷票小程序案例原理剖析!
Python_sn
博客等级 码龄6年 324粉丝 290原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值