Python爬虫实战,QQ音乐爬取全部歌曲

python爬取酷狗音乐_python 爬虫 爬取酷狗音乐 终于到了周末!怎么能少得了我的每周一更的文章呢?介绍你是不是常常想要在各大音乐网站上下载音乐?但是网站却逼迫你下载他们的应用?不要怪他们,这只是他们的赚钱的方式(你不下载他们应用,他们怎么赚钱呢)然而,你下载了应用,它们却逼迫你购买vip……没关系,今天我们就来用爬虫手段“制裁”这些网站!首先,就由最简单的酷狗音乐开始爬!功能概述让用户输入要搜索的音乐名,然后把所有的音乐以及每一个音乐对应的信息展... 阅读详情
AI摘要

本文详细介绍了如何利用Python爬取QQ音乐网站上的歌手列表及其歌曲信息。通过分析网页URL参数变化,找到XML请求,使用JavaScript加密库解密sign参数。然后,使用多进程爬取A到Z的所有歌手,获取歌手ID和歌曲列表,并将数据存储到本地和数据库。最后,解析歌曲信息,下载歌曲的m4a文件。

前景介绍

最近小伙伴们听歌的兴趣大涨,网抑云综合症已经遍布各地。
咱们再来抬高一波QQ音乐的热度吧。
很多人学习python,不知道从何学起。
很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。
很多已经做案例的人,却不知道如何去学习更加高深的知识。
那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!
QQ群:961562169


爬它!

目标:歌手列表
任务:将A到Z的歌手以及全部页数的歌存到本地和数据库

观察网页url结构

当我们进入网页时发现此时是一个无参数的html网页加载。
正常网页

寻找我们想要拿到的位置寻找变化,但我们点击A开头的网页跳转时,发现 url 改变了,index 参数应该是首字母,page 参数应该是页数变化。
url改变之后的结果
这样的话就减少一个找参数的时间啦。

找到XML

还是习惯的点开检查按键,找到首字母的作者提供的XML都需要什么参数,随便点点A-Z发现 XML 有一个请求蹦出来,里面返回了是个 json 数据集,都点开看看发现找到了每个作者的参数了。成功了一小半!
XML返回数据集

既然拿到了XML的网站,POST请求是一定的啦,接下来就该分析分析网站所需要的参数都是什么了,大致猜测一下,这么多数据中sign和data参数有点诡异,不像是正常的参数,加密参数也找到了。
所需参数

破解sign加密参数

search 找一下sign都在哪里。因为sign应该是个变量,所以说在他后面加个=会查找的更精确一些。找到一个sign参数的位置,这应该是个JavaScript代码,那就应该是这里面了。点进去!
search查找
在JavaScript中找到了 sign 的位置,找到了一个JavaScript调用的网站,我们进去看看是什么代码在里面。
找到了网站
当我们进入网站之后,代码有点乱我们在线格式化一下看看里面是什么。
找到网站
格式化代码后发现这个里面含有sign参数。这个应该是sign的加密算法,但是其中传了一个参数进入,我们需要了解一下他传了什么参数,这样我们的sign就出来了。
格式化
回到我们调用JavaScript网站的文件中,继续往下看,我们发现 sign 传数值就在他的下部。我们看到了传了个data给这个sign加密函数,点断点看看data参数是什么。这data值看的好眼熟,这不是一开始很奇怪那个参数data么。原来data弄出来了sign就能给出来的。
data返回值
我们继续找刚才的sign。点击下一次跳转我们发现我们找到另一个函数在里面,产生了一种疑惑,这个函数是做什么的,他为什么会跳向这里。
跳转疑惑
那我们先看看我们格式化出来的JavaScript到底能不能运行吧。说不定能运行呢。
js运行
哦吼,能运行,那就好办了,看看他返回的参数到底是啥,在开头定义一个sign=null,将t返回给sign,再把sign打印出来。这是刚才的那个跳转过去的方法。
返回结果
原来如此,那我们将sign调用一下加个(),我们就能发现sign的值就出现了。但我们重复运行发现我们无法得到他的加密值,因为这些都是一样的。
在这里插入图片描述
回想我们刚才说的话,他需要加一个data参数才可以获得加密参数,那好再改一下。
sign获取加密
首先我们先下载一个python调用JavaScript的库。pip install PyExecJS
开始写python代码

import execjs

def get_sign(data):
    with open('a.js','r',encoding='utf-8') as f:
        text = f.read()
    js_data = execjs.compile(text)
    sign = js_data.call('get_sign',data)
    return sign
    
if __name__ == "__main__":
    data = '{"comm":{"ct":24,"cv":0},"singerList":{"module":"Music.SingerListServer","method":"get_singer_list","param":{"area":-100,"sex":-100,"genre":-100,"index":2,"sin":0,"cur_page":1}}}'
    sign = get_sign(data)
    print(data)
    print(sign)

这是多次调用代码的结果,发现data传入成功了。
sign加密返回结果

获取歌手个数以及页数

个数其实一开始我们已经拿到了,只不过那时候没介绍,仔细的童鞋们应该是看到了总数到底为多少个。我们点开刚才的返回json结果就能看到total已经给出来当前的个数了。
当前歌手个数
现在该分析一下data参数,盲猜一通估计page和index都在data里面,要不然这个参数传不上去呀。好的分析一下data到底有啥,咱拿过来看看。data里面看到了get_singer_list这个应该是主要的东西。

# 这个是 A开头 第一页
#{"comm":{"ct":24,"cv":0},"singerList":{"module":"Music.SingerListServer","method":"get_singer_list","param":{"area":-100,"sex":-100,"genre":-100,"index":1,"sin":0,"cur_page":1}}}
# 这个是 B开头 第一页
#{"comm":{"ct":24,"cv":0},"singerList":{"module":"Music.SingerListServer","method":"get_singer_list","param":{"area":-100,"sex":-100,"genre":-100,"index":2,"sin":0,"cur_page":1}}}
# 这个是 B开头 第二页
#{"comm":{"ct":24,"cv":0},"singerList":{"module":"Music.SingerListServer","method":"get_singer_list","param":{"area":-100,"sex":-100,"genre":-100,"index":2,"sin":80,"cur_page":2}}}
# 这个是 B开头 第三页
#{"comm":{"ct":24,"cv":0},"singerList":{"module":"Music.SingerListServer","method":"get_singer_list","param":{"area":-100,"sex":-100,"genre":-100,"index":2,"sin":160,"cur_page":3}}}

大致我们能分析出来。

  • 字母的变化在 index 处,也就是A到Z以及后面的# 应该是一共27个在里面,也就是index从1到27我们需要传给他。
  • 页数的变化在 sin 这里,第一页是0,第二页就是80,第三页是160,冷静分析一下应该是从0开始以80为公差的等差数列。这个八十应该是代表每一页都含有八十个歌手。
  • cur_page应该就是当前页数的意思。那咱们跟着sin一起改变。

那在这我们拿到了总数,加上每一页总共能展示多少,因为多出来的个数需要占一页才可以,我们使用向下取整。

获取作者名字以及id号

我们根据上述写出来爬虫代码后,就可以成功获取 json 的返回值了,在里面我们能看到一个歌手的参数一共有五个,其中 singer_mid 和 singer_name 是我们所需要的。拿到这两个值后可以进入网站下载当前歌手的歌曲。
作者的参数

寻找歌手的歌曲

我们随意点进去一个歌手,进去后寻找XML的网站,我在这里找好了是 getSingerSong 变量。
在这里能获取歌手的每首歌的所能拿到的结果。
XML位置
我们看一下里面都需要什么参数,好像和上次的差不多哦。sign已经获取到了,data是给定的变量。单纯的data有点变化,但问题不大。那说明还是能正常访问这个XML的。
data中有点变化的位置就是 singerMid ,这个参数我们在刚才已经获取到了。直接在里面引用一下就好了。begin的参数是一个歌手歌的页数,num是一页中包括多少歌曲。其实我们传参数可以将这个参数改一下的。把num的值改到一个很大的值,我们就可以不需要改变begin的参数就能拿到所有的歌曲结果。
所需参数
我们仔细找一下 json 里面的参数,点击音乐链接进入发现是https://y.qq.com/n/yqq/song/002MQlds19S8qy.html,我们能发现,在这个歌曲里面的 mid 参数就是每首歌的格式化位置。
每首歌给出的结果

寻找下载歌曲的m4a链接

我们点入播放中。寻找里面的m4a链接看看都包含什么参数,发现存在七个链接都是。但我们仔细一看歌曲的大小我们就会发现,前几个都是有问题的发包,一首歌怎么可能只有几kb呢。毫不犹豫点进去最后一个。
XML寻找
哦吼,这回参数不一样了哦。那我们在重新分析一下下吧别懒了。
参数查看
我们先查找一下他给出来的一些包,看看能不能找到一个非加密参数出来。
果然,功夫不负有心人。vkey 就不是个加密参数!
vkey参数

破解参数前先学会"投机取巧"

我不知道刚才有没有仔细看这个位置,发现这个也是个很长的字符串,但是他很特殊,特殊到它和m4a的url是一样的。
结果在这!
为了让你们看到,我在这里把这俩写出来,发现到他们差了什么。不变的字符串前缀。。

# C400002wiewH40saXM.m4a?guid=9232644380&vkey=A6F8B706468C0ECFE0F8B6E5E8AAD783D5F852ED0CA66692EB1033B209080BE61208609BEBC2EAF66FA86AC887C8C9F03C02A152E2EF4E24&uin=0&fromtag=66
# https://isure.stream.qqmusic.qq.com/C400002wiewH40saXM.m4a?guid=9232644380&vkey=A6F8B706468C0ECFE0F8B6E5E8AAD783D5F852ED0CA66692EB1033B209080BE61208609BEBC2EAF66FA86AC887C8C9F03C02A152E2EF4E24&uin=0&fromtag=66

那我们先看看vkey到底需要什么参数给进去。其他参数还是都那些,还是差了一个data需要给进去的。咱们分析一下data都需要给啥吧。
vkey所需参数

# {"req":{"module":"CDN.SrfCdnDispatchServer","method":"GetCdnDispatch","param":{"guid":"9232644380","calltype":0,"userip":""}},"req_0":{"module":"vkey.GetVkeyServer","method":"CgiGetVkey","param":{"guid":"9232644380","songmid":["002MQlds19S8qy"],"songtype":[0],"uin":"0","loginflag":1,"platform":"20"}},"comm":{"uin":0,"format":"json","ct":24,"cv":0}}

大致分析了一下

  • guid是个无用参数。
  • songmid 是歌曲的 mid,我们刚才已经获取了
  • uin 需要加入一个qq号才可以获取,如果未登陆默认为0
  • 其他都是定死的参数

m4a文件是一个二进制文件。所以说我们写代码一定要写入二进制文件才可以。

代码优化

  1. 因为数据量过大,日常存入数据库
  2. 因为数据下载量大,使用多进程爬取。将A-Z及#各开一个进程
  3. 防止存入数据库在多线程阶段同时占用,上锁

全部代码

crawl.py

#Python3.7 
#encoding = utf-8
import execjs,requests,math,os,threading
from urllib import parse
from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
from db import SQLsession,Song
lock = threading.Lock()
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36',
    'Referer':'https://y.qq.com/portal/singer_list.html',
}
session = SQLsession()
def get_sign(data):
    with open('./QQ音乐/get_sign.js','r',encoding='utf-8') as f:
        text = f.read()
    js_data = execjs.compile(text)
    sign = js_data.call('get_sign',data)
    return sign
def myProcess():
    #把歌手按照首字母分为27类
    with ProcessPoolExecutor(max_workers = 2) as p:#创建27个进程
        for i in range(1,28):
            p.submit(get_singer_mid,i)
def get_singer_mid(index):
    #index =  1-----27
    #打开歌手列表页面,找出singerList,找出所有歌手的数目,除于80,构造后续页面获取page歌手
    #找出mid, 用于歌手详情页
    data = '{"comm":{"ct":24,"cv":0},"singerList":'\
        '{"module":"Music.SingerListServer","method":"get_singer_list","param":'\
        '{"area":-100,"sex":-100,"genre":-100,"index":%s,"sin":0,"cur_page":1}}}'%(str(index))
    sign = get_sign(data)
    url = 'https://u.y.qq.com/cgi-bin/musics.fcg?-=getUCGI6720748185279282&g_tk=5381'\
        '&sign={}'\
        '&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8'\
        '&notice=0&platform=yqq.json&needNewCode=0'\
        '&data={}'.format(sign,parse.quote(data)) 
    html = requests.get(url,headers = headers).json()
    total = html['singerList']['data']['total']#多少个歌手
    pages = int(math.floor(int(total)/80))#向下取整
    thread_number = pages
    Thread = ThreadPoolExecutor(max_workers = thread_number)
    sin = 0
    #分页迭代每一个字母下的所有页面歌手
    for page in range(1,pages+2):
        data = '{"comm":{"ct":24,"cv":0},"singerList":{"module":"Music.SingerListServer","method":"get_singer_list","param":{"area":-100,"sex":-100,"genre":-100,"index":%s,"sin":%s,"cur_page":%s}}}'%(str(index),str(sin),str(page))
        sign = get_sign(data)
        url = 'https://u.y.qq.com/cgi-bin/musics.fcg?-=getUCGI6720748185279282&g_tk=5381'\
            '&sign={}'\
            '&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8'\
            '&notice=0&platform=yqq.json&needNewCode=0'\
            '&data={}'.format(sign,parse.quote(data)) 
        html = requests.get(url,headers = headers).json()
        sings = html['singerList']['data']['singerlist']
        for sing in sings:
            singer_name = sing['singer_name']   #获取歌手名字
            mid = sing['singer_mid']            #获取歌手mid
            Thread.submit(get_singer_data,mid = mid,
                            singer_name = singer_name,)
        sin+=80
#获取歌手信息
def get_singer_data(mid,singer_name):
    #获取歌手mid,进入歌手详情页,也就是每一个歌手歌曲所在页面
    #找出歌手的歌曲信息页
    data = '{"comm":{"ct":24,"cv":0},"singerSongList":{"method":"GetSingerSongList","param":'\
            '{"order":1,"singerMid":"%s","begin":0,"num":10}'\
            ',"module":"musichall.song_list_server"}}'%(str(mid))
    sign = get_sign(data)
    url = 'https://u.y.qq.com/cgi-bin/musics.fcg?-=getSingerSong4707786209273719'\
        '&g_tk=5381&sign={}&loginUin=0'\
        '&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8&notice=0&platform=yqq.json&needNewCode=0'\
        '&data={}'.format(sign,parse.quote(data))
    html = requests.get(url,headers = headers).json()
    songs_num = html['singerSongList']['data']['totalNum']
    for number in range(0,songs_num,100):
        data = '{"comm":{"ct":24,"cv":0},"singerSongList":{"method":"GetSingerSongList","param":'\
            '{"order":1,"singerMid":"%s","begin":%s,"num":%s}'\
            ',"module":"musichall.song_list_server"}}'%(str(mid),str(number),str(songs_num))
        sign = get_sign(data)
        url = 'https://u.y.qq.com/cgi-bin/musics.fcg?-=getSingerSong4707786209273719'\
            '&g_tk=5381&sign={}&loginUin=0'\
            '&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8&notice=0&platform=yqq.json&needNewCode=0'\
            '&data={}'.format(sign,parse.quote(data))
        html = requests.get(url,headers = headers).json()
        datas = html['singerSongList']['data']['songList']
        for d in datas:
            sing_name = d['songInfo']['title']
            song_mid = d['songInfo']['mid']
            try:
                lock.acquire()
                session.add(Song(song_name = sing_name,
                                song_singer = singer_name,
                                song_mid = song_mid))
                session.commit()
                lock.release()
                print('commit')
            except:                
                session.rollback()
                print('rollbeak')
            print('歌手名字:{}\t歌曲名字:{}\t歌曲ID:{}'.format(singer_name,sing_name,song_mid))
            download(song_mid,sing_name,singer_name)
def download(song_mid,sing_name,singer_name):
    qq_number = '请在这里写你的qq号'
    try:qq_number = str(int(qq_number))
    except:raise 'qq号未填写'
    data = '{"req":{"module":"CDN.SrfCdnDispatchServer","method":"GetCdnDispatch"'\
        ',"param":{"guid":"4803422090","calltype":0,"userip":""}},'\
        '"req_0":{"module":"vkey.GetVkeyServer","method":"CgiGetVkey",'\
        '"param":{"guid":"4803422090","songmid":["%s"],"songtype":[0],'\
        '"uin":"%s","loginflag":1,"platform":"20"}},"comm":{"uin":%s,"format":"json","ct":24,"cv":0}}'%(str(song_mid),str(qq_number),str(qq_number))
    sign = get_sign(data)    
    url = 'https://u.y.qq.com/cgi-bin/musics.fcg?-=getplaysongvkey27494207511290925'\
        '&g_tk=1291538537&sign={}&loginUin={}'\
        '&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8&notice=0'\
        '&platform=yqq.json&needNewCode=0&data={}'.format(sign,qq_number,parse.quote(data))
    html = requests.get(url,headers = headers).json()
    try:
        purl = html['req_0']['data']['midurlinfo'][0]['purl']
        url = 'http://119.147.228.27/amobile.music.tc.qq.com/{}'.format(purl)
        html = requests.get(url,headers = headers)
        html.encoding = 'utf-8'
        sing_file_name = '{} -- {}'.format(sing_name,singer_name)
        filename = './QQ音乐/歌曲'
        if not os.path.exists(filename):
            os.makedirs(filename)
        with open('./QQ音乐/歌曲/{}.m4a'.format(sing_file_name),'wb') as f:
            print('\n正在下载{}歌曲.....\n'.format(sing_file_name))
            f.write(html.content) 
    except:
        print('查询权限失败,或没有查到对应的歌曲')
if __name__ == "__main__":
    myProcess()

db.py

from sqlalchemy import Column,Integer,String,create_engine
from sqlalchemy.orm import  sessionmaker,scoped_session
from sqlalchemy.ext.declarative import declarative_base
#此处没有使用pymysql的驱动
#请安装pip install mysql-connector-python
#engine中的 mysqlconnector 为 mysql官网驱动
engine = create_engine('mysql+mysqlconnector://root:root@localhost:3306/test?charset=utf8',
                   max_overflow = 500,#超过连接池大小外最多可以创建的链接
                   pool_size = 100,#连接池大小
                   echo = False,#调试信息展示
			)
Base = declarative_base()
class Song(Base):
    __tablename__ = 'song'
    song_id = Column(Integer,primary_key = True,autoincrement = True)
    song_name = Column(String(64))
    song_ablum = Column(String(64))
    song_mid = Column(String(50))
    song_singer = Column(String(50))
Base.metadata.create_all(engine)
DBsession = sessionmaker(bind = engine)
SQLsession = scoped_session(DBsession)

get_sign.js

this.window = this;
var sign = null;

!function(n, t) {
    "object" == typeof exports && "undefined" != typeof module ? module.exports = t() : "function" == typeof define && define.amd ? define(t) : (n = n || self).getSecuritySign = t()
} (this,
function() {
    "use strict";
    var n = function() {
        if ("undefined" != typeof self) return self;
        if ("undefined" != typeof window) return window;
        if ("undefined" != typeof global) return global;
        throw new Error("unable to locate global object")
    } ();
    n.__sign_hash_20200305 = function(n) {
        function l(n, t) {
            var o = (65535 & n) + (65535 & t);
            return (n >> 16) + (t >> 16) + (o >> 16) << 16 | 65535 & o
        }
        function r(n, t, o, e, u, p) {
            return l((i = l(l(t, n), l(e, p))) << (r = u) | i >>> 32 - r, o);
            var i, r
        }
        function g(n, t, o, e, u, p, i) {
            return r(t & o | ~t & e, n, t, u, p, i)
        }
        function a(n, t, o, e, u, p, i) {
            return r(t & e | o & ~e, n, t, u, p, i)
        }
        function s(n, t, o, e, u, p, i) {
            return r(t ^ o ^ e, n, t, u, p, i)
        }
        function v(n, t, o, e, u, p, i) {
            return r(o ^ (t | ~e), n, t, u, p, i)
        }
        function t(n) {
            return function(n) {
                var t, o = "";
                for (t = 0; t < 32 * n.length; t += 8) o += String.fromCharCode(n[t >> 5] >>> t % 32 & 255);
                return o
            } (function(n, t) {
                n[t >> 5] |= 128 << t % 32,
                n[14 + (t + 64 >>> 9 << 4)] = t;
                var o, e, u, p, i, r = 1732584193,
                f = -271733879,
                h = -1732584194,
                c = 271733878;
                for (o = 0; o < n.length; o += 16) r = g(e = r, u = f, p = h, i = c, n[o], 7, -680876936),
                c = g(c, r, f, h, n[o + 1], 12, -389564586),
                h = g(h, c, r, f, n[o + 2], 17, 606105819),
                f = g(f, h, c, r, n[o + 3], 22, -1044525330),
                r = g(r, f, h, c, n[o + 4], 7, -176418897),
                c = g(c, r, f, h, n[o + 5], 12, 1200080426),
                h = g(h, c, r, f, n[o + 6], 17, -1473231341),
                f = g(f, h, c, r, n[o + 7], 22, -45705983),
                r = g(r, f, h, c, n[o + 8], 7, 1770035416),
                c = g(c, r, f, h, n[o + 9], 12, -1958414417),
                h = g(h, c, r, f, n[o + 10], 17, -42063),
                f = g(f, h, c, r, n[o + 11], 22, -1990404162),
                r = g(r, f, h, c, n[o + 12], 7, 1804603682),
                c = g(c, r, f, h, n[o + 13], 12, -40341101),
                h = g(h, c, r, f, n[o + 14], 17, -1502002290),
                r = a(r, f = g(f, h, c, r, n[o + 15], 22, 1236535329), h, c, n[o + 1], 5, -165796510),
                c = a(c, r, f, h, n[o + 6], 9, -1069501632),
                h = a(h, c, r, f, n[o + 11], 14, 643717713),
                f = a(f, h, c, r, n[o], 20, -373897302),
                r = a(r, f, h, c, n[o + 5], 5, -701558691),
                c = a(c, r, f, h, n[o + 10], 9, 38016083),
                h = a(h, c, r, f, n[o + 15], 14, -660478335),
                f = a(f, h, c, r, n[o + 4], 20, -405537848),
                r = a(r, f, h, c, n[o + 9], 5, 568446438),
                c = a(c, r, f, h, n[o + 14], 9, -1019803690),
                h = a(h, c, r, f, n[o + 3], 14, -187363961),
                f = a(f, h, c, r, n[o + 8], 20, 1163531501),
                r = a(r, f, h, c, n[o + 13], 5, -1444681467),
                c = a(c, r, f, h, n[o + 2], 9, -51403784),
                h = a(h, c, r, f, n[o + 7], 14, 1735328473),
                r = s(r, f = a(f, h, c, r, n[o + 12], 20, -1926607734), h, c, n[o + 5], 4, -378558),
                c = s(c, r, f, h, n[o + 8], 11, -2022574463),
                h = s(h, c, r, f, n[o + 11], 16, 1839030562),
                f = s(f, h, c, r, n[o + 14], 23, -35309556),
                r = s(r, f, h, c, n[o + 1], 4, -1530992060),
                c = s(c, r, f, h, n[o + 4], 11, 1272893353),
                h = s(h, c, r, f, n[o + 7], 16, -155497632),
                f = s(f, h, c, r, n[o + 10], 23, -1094730640),
                r = s(r, f, h, c, n[o + 13], 4, 681279174),
                c = s(c, r, f, h, n[o], 11, -358537222),
                h = s(h, c, r, f, n[o + 3], 16, -722521979),
                f = s(f, h, c, r, n[o + 6], 23, 76029189),
                r = s(r, f, h, c, n[o + 9], 4, -640364487),
                c = s(c, r, f, h, n[o + 12], 11, -421815835),
                h = s(h, c, r, f, n[o + 15], 16, 530742520),
                r = v(r, f = s(f, h, c, r, n[o + 2], 23, -995338651), h, c, n[o], 6, -198630844),
                c = v(c, r, f, h, n[o + 7], 10, 1126891415),
                h = v(h, c, r, f, n[o + 14], 15, -1416354905),
                f = v(f, h, c, r, n[o + 5], 21, -57434055),
                r = v(r, f, h, c, n[o + 12], 6, 1700485571),
                c = v(c, r, f, h, n[o + 3], 10, -1894986606),
                h = v(h, c, r, f, n[o + 10], 15, -1051523),
                f = v(f, h, c, r, n[o + 1], 21, -2054922799),
                r = v(r, f, h, c, n[o + 8], 6, 1873313359),
                c = v(c, r, f, h, n[o + 15], 10, -30611744),
                h = v(h, c, r, f, n[o + 6], 15, -1560198380),
                f = v(f, h, c, r, n[o + 13], 21, 1309151649),
                r = v(r, f, h, c, n[o + 4], 6, -145523070),
                c = v(c, r, f, h, n[o + 11], 10, -1120210379),
                h = v(h, c, r, f, n[o + 2], 15, 718787259),
                f = v(f, h, c, r, n[o + 9], 21, -343485551),
                r = l(r, e),
                f = l(f, u),
                h = l(h, p),
                c = l(c, i);
                return [r, f, h, c]
            } (function(n) {
                var t, o = [];
                for (o[(n.length >> 2) - 1] = void 0, t = 0; t < o.length; t += 1) o[t] = 0;
                for (t = 0; t < 8 * n.length; t += 8) o[t >> 5] |= (255 & n.charCodeAt(t / 8)) << t % 32;
                return o
            } (n), 8 * n.length))
        }
        function o(n) {
            return t(unescape(encodeURIComponent(n)))
        }
        return function(n) {
            var t, o, e = "0123456789abcdef",
            u = "";
            for (o = 0; o < n.length; o += 1) t = n.charCodeAt(o),
            u += e.charAt(t >>> 4 & 15) + e.charAt(15 & t);
            return u
        } (o(n))
    },
    function r(f, h, c, l, g) {
        g = g || [[this], [{}]];
        for (var t = [], o = null, n = [function() {
            return ! 0
        },
        function() {},
        function() {
            g.length = c[h++]
        },
        function() {
            g.push(c[h++])
        },
        function() {
            g.pop()
        },
        function() {
            var n = c[h++],
            t = g[g.length - 2 - n];
            g[g.length - 2 - n] = g.pop(),
            g.push(t)
        },
        function() {
            g.push(g[g.length - 1])
        },
        function() {
            g.push([g.pop(), g.pop()].reverse())
        },
        function() {
            g.push([l, g.pop()])
        },
        function() {
            g.push([g.pop()])
        },
        function() {
            var n = g.pop();
            g.push(n[0][n[1]])
        },
        function() {
            g.push(g[g.pop()[0]][0])
        },
        function() {
            var n = g[g.length - 2];
            n[0][n[1]] = g[g.length - 1]
        },
        function() {
            g[g[g.length - 2][0]][0] = g[g.length - 1]
        },
        function() {
            var n = g.pop(),
            t = g.pop();
            g.push([t[0][t[1]], n])
        },
        function() {
            var n = g.pop();
            g.push([g[g.pop()][0], n])
        },
        function() {
            var n = g.pop();
            g.push(delete n[0][n[1]])
        },
        function() {
            var n = [];
            for (var t in g.pop()) n.push(t);
            g.push(n)
        },
        function() {
            g[g.length - 1].length ? g.push(g[g.length - 1].shift(), !0) : g.push(void 0, !1)
        },
        function() {
            var n = g[g.length - 2],
            t = Object.getOwnPropertyDescriptor(n[0], n[1]) || {
                configurable: !0,
                enumerable: !0
            };
            t.get = g[g.length - 1],
            Object.defineProperty(n[0], n[1], t)
        },
        function() {
            var n = g[g.length - 2],
            t = Object.getOwnPropertyDescriptor(n[0], n[1]) || {
                configurable: !0,
                enumerable: !0
            };
            t.set = g[g.length - 1],
            Object.defineProperty(n[0], n[1], t)
        },
        function() {
            h = c[h++]
        },
        function() {
            var n = c[h++];
            g[g.length - 1] && (h = n)
        },
        function() {
            throw g[g.length - 1]
        },
        function() {
            var n = c[h++],
            t = n ? g.slice( - n) : [];
            g.length -= n,
            g.push(g.pop().apply(l, t))
        },
        function() {
            var n = c[h++],
            t = n ? g.slice( - n) : [];
            g.length -= n;
            var o = g.pop();
            g.push(o[0][o[1]].apply(o[0], t))
        },
        function() {
            var n = c[h++],
            t = n ? g.slice( - n) : [];
            g.length -= n,
            t.unshift(null),
            g.push(new(Function.prototype.bind.apply(g.pop(), t)))
        },
        function() {
            var n = c[h++],
            t = n ? g.slice( - n) : [];
            g.length -= n,
            t.unshift(null);
            var o = g.pop();
            g.push(new(Function.prototype.bind.apply(o[0][o[1]], t)))
        },
        function() {
            g.push(!g.pop())
        },
        function() {
            g.push(~g.pop())
        },
        function() {
            g.push(typeof g.pop())
        },
        function() {
            g[g.length - 2] = g[g.length - 2] == g.pop()
        },
        function() {
            g[g.length - 2] = g[g.length - 2] === g.pop()
        },
        function() {
            g[g.length - 2] = g[g.length - 2] > g.pop()
        },
        function() {
            g[g.length - 2] = g[g.length - 2] >= g.pop()
        },
        function() {
            g[g.length - 2] = g[g.length - 2] << g.pop()
        },
        function() {
            g[g.length - 2] = g[g.length - 2] >> g.pop()
        },
        function() {
            g[g.length - 2] = g[g.length - 2] >>> g.pop()
        },
        function() {
            g[g.length - 2] = g[g.length - 2] + g.pop()
        },
        function() {
            g[g.length - 2] = g[g.length - 2] - g.pop()
        },
        function() {
            g[g.length - 2] = g[g.length - 2] * g.pop()
        },
        function() {
            g[g.length - 2] = g[g.length - 2] / g.pop()
        },
        function() {
            g[g.length - 2] = g[g.length - 2] % g.pop()
        },
        function() {
            g[g.length - 2] = g[g.length - 2] | g.pop()
        },
        function() {
            g[g.length - 2] = g[g.length - 2] & g.pop()
        },
        function() {
            g[g.length - 2] = g[g.length - 2] ^ g.pop()
        },
        function() {
            g[g.length - 2] = g[g.length - 2] in g.pop()
        },
        function() {
            g[g.length - 2] = g[g.length - 2] instanceof g.pop()
        },
        function() {
            g[g[g.length - 1][0]] = void 0 === g[g[g.length - 1][0]] ? [] : g[g[g.length - 1][0]]
        },
        function() {
            for (var e = c[h++], u = [], n = c[h++], t = c[h++], p = [], o = 0; o < n; o++) u[c[h++]] = g[c[h++]];
            for (var i = 0; i < t; i++) p[i] = c[h++];
            g.push(function n() {
                var t = u.slice(0);
                t[0] = [this],
                t[1] = [arguments],
                t[2] = [n];
                for (var o = 0; o < p.length && o < arguments.length; o++) 0 < p[o] && (t[p[o]] = [arguments[o]]);
                return r(f, e, c, l, t)
            })
        },
        function() {
            t.push([c[h++], g.length, c[h++]])
        },
        function() {
            t.pop()
        },
        function() {
            return !! o
        },
        function() {
            o = null
        },
        function() {
            g[g.length - 1] += String.fromCharCode(c[h++])
        },
        function() {
            g.push("")
        },
        function() {
            g.push(void 0)
        },
        function() {
            g.push(null)
        },
        function() {
            g.push(!0)
        },
        function() {
            g.push(!1)
        },
        function() {
            g.length -= c[h++]
        },
        function() {
            g[g.length - 1] = c[h++]
        },
        function() {
            var n = g.pop(),
            t = g[g.length - 1];
            t[0][t[1]] = g[n[0]][0]
        },
        function() {
            var n = g.pop(),
            t = g[g.length - 1];
            t[0][t[1]] = n[0][n[1]]
        },
        function() {
            var n = g.pop(),
            t = g[g.length - 1];
            g[t[0]][0] = g[n[0]][0]
        },
        function() {
            var n = g.pop(),
            t = g[g.length - 1];
            g[t[0]][0] = n[0][n[1]]
        },
        function() {
            g[g.length - 2] = g[g.length - 2] < g.pop()
        },
        function() {
            g[g.length - 2] = g[g.length - 2] <= g.pop()
        }];;) try {
            for (; ! n[c[h++]](););
            if (o) throw o;
            return g.pop()
        } catch(n) {
            var e = t.pop();
            if (void 0 === e) throw n;
            o = n,
            h = e[0],
            g.length = e[1],
            e[2] && (g[e[2]][0] = o)
        }
    } (120731, 0, [21, 34, 50, 100, 57, 50, 102, 50, 98, 99, 101, 52, 54, 97, 52, 99, 55, 56, 52, 49, 57, 54, 57, 49, 56, 98, 102, 100, 100, 48, 48, 55, 55, 102, 2, 10, 3, 2, 9, 48, 61, 3, 9, 48, 61, 4, 9, 48, 61, 5, 9, 48, 61, 6, 9, 48, 61, 7, 9, 48, 61, 8, 9, 48, 61, 9, 9, 48, 4, 21, 427, 54, 2, 15, 3, 2, 9, 48, 61, 3, 9, 48, 61, 4, 9, 48, 61, 5, 9, 48, 61, 6, 9, 48, 61, 7, 9, 48, 61, 8, 9, 48, 61, 9, 9, 48, 61, 10, 9, 48, 61, 11, 9, 48, 61, 12, 9, 48, 61, 13, 9, 48, 61, 14, 9, 48, 61, 10, 9, 55, 54, 97, 54, 98, 54, 99, 54, 100, 54, 101, 54, 102, 54, 103, 54, 104, 54, 105, 54, 106, 54, 107, 54, 108, 54, 109, 54, 110, 54, 111, 54, 112, 54, 113, 54, 114, 54, 115, 54, 116, 54, 117, 54, 118, 54, 119, 54, 120, 54, 121, 54, 122, 54, 48, 54, 49, 54, 50, 54, 51, 54, 52, 54, 53, 54, 54, 54, 55, 54, 56, 54, 57, 13, 4, 61, 11, 9, 55, 54, 77, 54, 97, 54, 116, 54, 104, 8, 55, 54, 102, 54, 108, 54, 111, 54, 111, 54, 114, 14, 55, 54, 77, 54, 97, 54, 116, 54, 104, 8, 55, 54, 114, 54, 97, 54, 110, 54, 100, 54, 111, 54, 109, 14, 25, 0, 3, 4, 9, 11, 3, 3, 9, 11, 39, 3, 1, 38, 40, 3, 3, 9, 11, 38, 25, 1, 13, 4, 61, 12, 9, 55, 13, 4, 61, 13, 9, 3, 0, 13, 4, 4, 3, 13, 9, 11, 3, 11, 9, 11, 66, 22, 306, 4, 21, 422, 24, 4, 3, 14, 9, 55, 54, 77, 54, 97, 54, 116, 54, 104, 8, 55, 54, 102, 54, 108, 54, 111, 54, 111, 54, 114, 14, 55, 54, 77, 54, 97, 54, 116, 54, 104, 8, 55, 54, 114, 54, 97, 54, 110, 54, 100, 54, 111, 54, 109, 14, 25, 0, 3, 10, 9, 55, 54, 108, 54, 101, 54, 110, 54, 103, 54, 116, 54, 104, 15, 10, 40, 25, 1, 13, 4, 61, 12, 9, 6, 11, 3, 10, 9, 3, 14, 9, 11, 15, 10, 38, 13, 4, 61, 13, 9, 6, 11, 6, 5, 1, 5, 0, 3, 1, 38, 13, 4, 61, 0, 5, 0, 43, 4, 21, 291, 61, 3, 12, 9, 11, 0, 3, 9, 9, 49, 72, 0, 2, 3, 4, 13, 4, 61, 8, 9, 21, 721, 3, 2, 8, 3, 2, 9, 48, 61, 3, 9, 48, 61, 4, 9, 48, 61, 5, 9, 48, 61, 6, 9, 48, 61, 7, 9, 48, 4, 55, 54, 115, 54, 101, 54, 108, 54, 102, 8, 10, 30, 55, 54, 117, 54, 110, 54, 100, 54, 101, 54, 102, 54, 105, 54, 110, 54, 101, 54, 100, 32, 28, 22, 510, 4, 21, 523, 22, 4, 55, 54, 115, 54, 101, 54, 108, 54, 102, 8, 10, 0, 55, 54, 119, 54, 105, 54, 110, 54, 100, 54, 111, 54, 119, 8, 10, 30, 55, 54, 117, 54, 110, 54, 100, 54, 101, 54, 102, 54, 105, 54, 110, 54, 101, 54, 100, 32, 28, 22, 566, 4, 21, 583, 3, 4, 55, 54, 119, 54, 105, 54, 110, 54, 100, 54, 111, 54, 119, 8, 10, 0, 55, 54, 103, 54, 108, 54, 111, 54, 98, 54, 97, 54, 108, 8, 10, 30, 55, 54, 117, 54, 110, 54, 100, 54, 101, 54, 102, 54, 105, 54, 110, 54, 101, 54, 100, 32, 28, 22, 626, 4, 21, 643, 25, 4, 55, 54, 103, 54, 108, 54, 111, 54, 98, 54, 97, 54, 108, 8, 10, 0, 55, 54, 69, 54, 114, 54, 114, 54, 111, 54, 114, 8, 55, 54, 117, 54, 110, 54, 97, 54, 98, 54, 108, 54, 101, 54, 32, 54, 116, 54, 111, 54, 32, 54, 108, 54, 111, 54, 99, 54, 97, 54, 116, 54, 101, 54, 32, 54, 103, 54, 108, 54, 111, 54, 98, 54, 97, 54, 108, 54, 32, 54, 111, 54, 98, 54, 106, 54, 101, 54, 99, 54, 116, 27, 1, 23, 56, 0, 49, 444, 0, 0, 24, 0, 13, 4, 61, 8, 9, 55, 54, 95, 54, 95, 54, 103, 54, 101, 54, 116, 54, 83, 54, 101, 54, 99, 54, 117, 54, 114, 54, 105, 54, 116, 54, 121, 54, 83, 54, 105, 54, 103, 54, 110, 15, 21, 1126, 49, 2, 14, 3, 2, 9, 48, 61, 3, 9, 48, 61, 4, 9, 48, 61, 5, 9, 48, 61, 6, 9, 48, 61, 7, 9, 48, 61, 8, 9, 48, 61, 9, 9, 48, 61, 10, 9, 48, 61, 11, 9, 48, 61, 9, 9, 55, 54, 108, 54, 111, 54, 99, 54, 97, 54, 116, 54, 105, 54, 111, 54, 110, 8, 10, 30, 55, 54, 117, 54, 110, 54, 100, 54, 101, 54, 102, 54, 105, 54, 110, 54, 101, 54, 100, 32, 28, 22, 862, 21, 932, 21, 4, 55, 54, 108, 54, 111, 54, 99, 54, 97, 54, 116, 54, 105, 54, 111, 54, 110, 8, 55, 54, 104, 54, 111, 54, 115, 54, 116, 14, 55, 54, 105, 54, 110, 54, 100, 54, 101, 54, 120, 54, 79, 54, 102, 14, 55, 54, 121, 54, 46, 54, 113, 54, 113, 54, 46, 54, 99, 54, 111, 54, 109, 25, 1, 3, 0, 3, 1, 39, 32, 22, 963, 4, 55, 54, 67, 54, 74, 54, 66, 54, 80, 54, 65, 54, 67, 54, 114, 54, 82, 54, 117, 54, 78, 54, 121, 54, 55, 21, 974, 50, 4, 3, 12, 9, 11, 3, 8, 3, 10, 24, 2, 13, 4, 61, 10, 9, 3, 13, 9, 55, 54, 95, 54, 95, 54, 115, 54, 105, 54, 103, 54, 110, 54, 95, 54, 104, 54, 97, 54, 115, 54, 104, 54, 95, 54, 50, 54, 48, 54, 50, 54, 48, 54, 48, 54, 51, 54, 48, 54, 53, 15, 10, 22, 1030, 21, 1087, 22, 4, 3, 13, 9, 55, 54, 95, 54, 95, 54, 115, 54, 105, 54, 103, 54, 110, 54, 95, 54, 104, 54, 97, 54, 115, 54, 104, 54, 95, 54, 50, 54, 48, 54, 50, 54, 48, 54, 48, 54, 51, 54, 48, 54, 53, 15, 3, 9, 9, 11, 3, 3, 9, 11, 38, 25, 1, 13, 4, 61, 11, 9, 3, 12, 9, 11, 3, 10, 3, 53, 3, 37, 39, 24, 2, 13, 4, 4, 55, 54, 122, 54, 122, 54, 97, 3, 11, 9, 11, 38, 3, 10, 9, 11, 38, 0, 49, 771, 2, 1, 12, 9, 13, 8, 3, 12, 4, 4, 56, 0], n);
    var t = n.__getSecuritySign;
    sign = t;
    return t;
});

function get_sign(data){
    return sign(data)
};
真给力,字节跳动年度首发《音视频开发进阶指南》限时领取,理论与实战齐飞 音视频播放:音视频同步音视频解封和封装:生成一个MP4。 阅读详情

相关推荐

python爬取qq音乐评论_爬虫:QQ音乐评论

QQ音乐评论有些小伙伴反馈,对于爬虫的完整流程,还是不清楚,这边就按顺序,给大家梳理一下反爬首先查看一下,我们要爬取的网页,是否反爬(各种侵害人家服务器的事情,我们不能干)QQ音乐网址:https://y.qq.com要查看该网页的反爬要求,可以直接在网页后加/robots.txtQQ音乐反爬要求就是:https://y.qq.com/robots.txt看了一下官网不给爬的内容,没有说不可以爬评...

weixin_39747296的博客 2244

Python爬虫视频教程:教你爬取QQ音乐数据(实战处理+数据可视化)

本视频课程主要培训Python爬虫入门,数据分析及数据可视化实战内容,通过本课的学习,您可以在2小时左右掌握Python基础编程的核心内容,实现Python在爬虫、数据分析,及数据可视化等操作,各位同学在掌握了Python后,可以选择Python的其中一个方向进行深入研究,不管对于自身升职找工作,还是对于自身IT专业能力的提升,都是非常有帮助的。刘宇宙,《Python3.5从零开始学》、《Python3.7从零开始学》一书作者。 目前主要担任大数据人工智能后台技术负责,负责人工智能项目落地,目前已落地计算机视觉中的以图搜图、侵权图片检测、智能广告、实时推荐、销量预测等项目。 先后从事过卡系统研发,云计算中IAAS的研发,大数据研发,物联网研发,网络爬虫研发。

爬虫初上手之爬取QQ音乐!

爬虫初上手之爬取QQ音乐! 作为一名爬虫界的萌新,我终于通过了新手教程——requests库的学习,兴致勃勃地撸起袖子准备~~大爬一场~~ 大干一场。 我的第一个爬取目标是QQ音乐。在我的设想中,一个网站的根目录下有很多子目录,里面装着子网页和各种资源,其中一个文件夹就是音乐库,所有的音乐都在里面被分门别类地存放好,我只要找到这个文件夹就好了。比如下面这样:`r = requests.get(...

阿衰的博客 2138

【python爬虫 系列 最终篇】16.利用多线程多进程爬取qq音乐全站所有信息和音乐

实战 爬取qq音乐 1.项目详情 歌手分区:(a-#) 整个爬虫项目按功能分为爬虫规则和数据入库,分别对应文件 music.py 和 music_db.py。 爬虫规则大致如下: 在歌手列表(https://y.qq.com/portal/singer_list.html)中按照字母类别对歌手进行分类,遍历每个分类下的每位歌手页面,然后获取每位歌手页面下的全部歌曲信息。根据该设计方案列出遍历...

AI_LINNGLONG的博客 1万+

python爬取qq音乐

爬取网页版的音乐可以使用抓包工具也可以直接使用谷歌浏览器的开发者调试工具分析地址 下面使用开发者调试工具分析数据 从搜索开始随便输入一个歌曲名到搜索框 可以看到有很多请求,一般我们需要的都是ajax请求所以切换到XHR选项: 会有很多请求,一般请求以json数据返回 寻找返回的json数据 挨个点一下看看response或者preview一般来说返回的json数据都比...

XBODHX的专栏 4267

Python 爬虫项目:爬取音乐网站,批量下载无损音乐 / 单曲

本文介绍了基于Python的音乐爬虫实战开发,重点解决音频类爬虫的核心痛点。主要内容包括:1)音乐爬虫与文本/图片爬虫的关键差异,强调流式请求和二进制写入的重要性;2)完整开发流程,从请求伪装、网页解析到音频下载与保存;3)核心代码实现,包含单曲和批量下载模式,集成异常处理和进度提示;4)常见问题解决方案,如文件破损、链接失效等;5)扩展优化方向,如异步爬取、代理IP等。项目采用requests+BeautifulSoup4技术栈,通过流式处理实现高效稳定的音频下载,适合爬虫进阶学习。

2503_91057718的博客 2418

爬虫入门经典(二十三) | fiddler抓包爬取QQ音乐

  大家好,我是不温卜火,是一名计算机学院大数据专业大三的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限,博客中难免会有一些错误出现,有纰漏之处恳请各位大佬不吝赐教!暂时只在csdn这一个平台进行更新,博客主页:https://buwenbuhuo.blog.youkuaiyun.com/。 PS:由于现在越来越多的人未经本人同意直接爬取博主本人.

不温卜火 5万+

RK3588无风扇散热全链路设计:从热源分析到Linux温控验证

在嵌入式系统与边缘计算设备中,SoC散热设计直接决定性能稳定性与长期可靠性。以RK3588为例,其高算力NPU与多核CPU在满载时产生显著热量,若依赖风扇散热,将引入积灰、噪音与机械寿命等工程隐患。无风扇散热通过低热阻导热界面、大表面积散热器与自然对流路径,实现零运动部件的高效热管理。该方案广泛应用于工控机、NAS、医疗设备与户外机柜等场景,核心在于热阻串联计算与材料选型。本文围绕RK3588平台,系统讲解从热源分布、散热路径设计到Linux温控验证的完整工程实践,帮助开发者构建高可靠的无风扇散热系统。

weixin_29172963的博客 266

【Python爬虫实战】使用Selenium爬取QQ音乐歌曲及评论信息

本文使用Selenium爬取QQ音乐歌曲及评论信息,面向新手,对使用到的技术有简单的介绍,附有完整代码。

ATFWUS的博客 6万+

Claude Desktop Cowork国内实操指南:本地文件自动化办公

大语言模型正从‘问答式AI’迈向‘执行型协作者’,其核心能力在于直接操作本地文件、调用系统工具并嵌入真实工作流。Claude Desktop的Cowork模式正是这一范式的代表,它通过轻量沙箱VM实现对Excel、PPT、PDF、音视频等办公资产的读写与处理,无需手动编码即可完成数据清洗、会议纪要生成、自动化报告输出等任务。技术价值体现在权限可控、环境隔离、结果可交付;典型场景覆盖行政文秘的文档流转、销售运营的数据分析、开发者的脚本调试与环境验证。本文聚焦国内用户高频卡点——网络链路、系统权限与工作流断层,

weixin_30617737的博客 468

无人机芯片模块技术要点分析

恶劣环境下信号稳定性:无人机在恶劣环境下工作时,遥感系统采集的信号往往很不稳定,视频信号处理芯片需要具备强抗干扰能力,能辨别脉冲脉宽为50ns以上、幅度为0V~4.5V的输入信号。这种架构能兼顾强大的运算能力和灵活的接口控制。芯片小型化:麻省理工学院的研究人员已设计出仅20平方毫米的微型芯片,可处理无人机飞行所需的惯性数据和相机图像,为微型无人机的发展奠定了基础。光子集成芯片(PIC) :研究显示,与电子芯片相比,光子计算芯片在延迟、计算容量和能效上都有数量级的提升,有望解决当前无人机系统的计算瓶颈。

YUNZHUO666的博客 1408

Python网络爬虫数据采集实战:Scrapy框架爬取QQ音乐存入MongoDB

​通过前七章的学习,相信大家对整个爬虫有了一个比较全貌的了解 ,其中分别涉及四个案例:静态网页爬取、动态Ajax网页爬取、Selenium浏览器模拟爬取和Fillder今日头条app爬取,基本涵盖了爬虫的大致套路。本文在此基础上进一步深耕,使用Scrapy框架构建分布式爬虫系统,更加接近搜索引擎技术。 目录 一、前期准备 1.Scrapy原理概述 2....

大数据之眸 5180

【技术解析】华为智算中心:昇腾AI算力与无损网络如何驱动大模型训练

本文深入解析了华为智算中心如何通过昇腾AI算力与超融合以太无损网络的协同,驱动千亿参数大模型的高效训练。昇腾NPU提供专用计算引擎,而基于RoCE的无损网络则通过PFC、ECN等技术确保万卡集群间的高带宽、零丢包通信,实现算力利用率最大化,解决大规模AI训练的核心瓶颈。

weixin_29311017的博客 200

Python爬虫实战 -- 音乐爬取全部歌曲

还是习惯的点开检查按键,找到首字母的作者提供的XML都需要什么参数,随便点点A-Z发现 XML 有一个请求蹦出来,里面返回了是个 json 数据集,都点开看看发现找到了每个作者的参数了。既然拿到了XML的网站,POST请求是一定的啦,接下来就该分析分析网站所需要的参数都是什么了,大致猜测一下,这么多数据中sign和data参数有点诡异,不像是正常的参数,加密参数也找到了。这个应该是sign的加密算法,但是其中传了一个参数进入,我们需要了解一下他传了什么参数,这样我们的sign就出来了。

白帽阿叁的博客 7341

【NVIDIA Jetson Orin系列 - 安装NVIDIA SDK Manager】

NVIDIA Jetson Orin - 安装NVIDIA SDK Manager

dally2的博客 2696

【数据集】米级别热红外卫星合集:SDGSAT-1、HotSat-1等

米级别热红外卫星合集:SDGSAT-1、HotSat-1等

WW、forever的博客 1259

最新爬取QQ音乐

爬取QQ音乐资源分析QQ音乐那么分析一下音乐的地址在哪里,我们最主要的就是资源地址 分析QQ音乐 首先打开相关音乐栏目页面,我们可以看到页面中失去了选择下一页了,被腾讯屏蔽了,强制要求下载,但是我们是爬虫工程师呀,怎么可能会被拦阻 请认真对待,你是一个爬虫工程师,要这些表面的干什么,你要的是内在的,你要有内涵的 那么分析一下音乐的地址在哪里,我们最主要的就是资源地址 这是我们找到的2条资源地址...

weixin_44119390的博客 1万+

基于FFT的轴承故障诊断 - MATLAB代码和详细解释

最后,我们可以根据异常特征的位置和特征分析来确定轴承故障的类型。最后,我们可以根据异常特征的位置和特征分析来确定轴承故障的类型。因此,通过分析频谱图,我们可以识别轴承故障的特征。因此,通过分析频谱图,我们可以识别轴承故障的特征。我们可以选择适当的阈值,并在频谱图上标记异常特征。通过这种基于FFT的轴承故障诊断方法,我们可以快速、准确地检测和诊断轴承故障。接下来,我们将应用FFT来获取振动信号的频谱信息,频谱显示了信号在不同频率上的能量分布。通过将异常特征标记在频谱图上,我们可以直观地识别轴承故障的存在。

COWizard的博客 614

Python爬虫实战(一) QQ音乐评论爬取及可视化分析

说好不哭呢?python爬取5000条QQ音乐评论并进行数据分析 爬虫也快学了一个月了,今天就来分享一下QQ音乐的实战例子吧。以周董的《说好不哭》为例: 首先打开QQ音乐,搜索说好不哭。找到评论区后,使用谷歌浏览器的检查功能,发现评论区的内容是被封装在json中的,如下图所示: 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如...

shine4869的博客 1万+

acados安装与调试指南:版本兼容性问题

在计算机编程领域,软件工具和库的安装与调试是每个开发者必经的挑战。最近,在安装和使用acados库时,我遇到了一个有趣的问题,这里我将详细分享我的经验和解决方案。

m0_62153576的博客 741

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

基于Python的QQ音乐数据爬取分析与可视化(附源码)

通过对QQ音乐平台上的数据进行爬取、分析和可视化,可以更好地了解音乐市场的需求和趋势,为音乐推荐、版权管理等方面提供支持。通过对数据的分析和可视化,可以深入了解QQ音乐平台上歌曲、歌手、用户等方面的信息,为用户提供更好的音乐推荐服务,为音乐产业提供更为准确的数据支持。在音乐领域,通过对用户偏好、音乐市场趋势等数据进行分析和预测,可以为音乐服务提供更为精准的推荐和管理。通过本文的研究,我们成功利用Python编程语言对QQ音乐平台的相关数据进行爬取、分析和可视化,为音乐领域的数据研究提供了新的思路和方法。

Dalu_1226的博客 5139

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

python爬取QQ音乐评论信息

QQ音乐评论爬取分析1.随便选个音乐2. g_tk函数介绍 1.随便选个音乐 https://y.qq.com/n/yqq/song/0039MnYb0qxYhV.html 找到评论的数据接口: https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?g_tk_new_20200303=1728726093&g_tk=1728726093&loginUin=0&hostUin=0&format=json&

陈增林 6047

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

简单的QQ音乐爬取

爬虫功能是一点一点实现的,我们想要爬取qq音乐,首先要从爬取其中一首歌来实现。 我们打开qq音乐的官网,随便找到一首歌进入播放页面,随后按F12进入检测界面。 如果没有数据出现的话,进行刷新页面即可。随后我们在这里找到大小为一首歌的文件,这里就是这个3.1MB的文件了,点击查看它的URL,很显然,这就是正在播放的这首歌的地址了。 我们可以打开这个网址检测一下是否是我们的所需要的那首歌的地址。 很明显,这就是我们所需要的地址。那么,我们怎么用爬虫来获取这个地址呢? 我们对多首不...

qq_49730377的博客 1万+

Python QQ音乐爬取

Python QQ音乐爬取 没错正如你所见,这是一篇关于Python爬虫的文章。希望你在看代码前,要明确以下几点。 1、这个爬虫所爬取的网站是qq音乐的PC端官网 2、爬取的音乐只是官方允许给我们听的,不涉及Vip等付费音乐 3、代码和讲解面向有一定python爬虫实战基础的小伙伴 4、此代码其实已是好久以前写好的了,不过仍然可以爬到歌曲,后续就不知道了 5、此文章和其中的代码仅用于教学和交流,不...

weixin_43594279的博客 2488

Python爬取qq音乐的过程实例

一、前言  qq music上的音乐还是不少的,有些时候想要下载好听的音乐,但有每次在网页下载都是烦人的登录什么的。于是,来了个qqmusic的爬虫。至少我觉得for循环爬虫,最核心的应该就是找到待爬元素所在url吧。   二、Python爬取QQ音乐单曲 爬虫步骤 1.确定目标 首先我们要明确目标,本次爬取的是QQ音乐歌手刘德华的单曲。 (百度百科)-&gt;分析目标(策略...

weixin_44099558的博客 4769

基于Python的QQ音乐数据爬取分析与可视化【开源代码】

本文将基于Python编程语言,利用网络爬虫技术获取QQ音乐平台的相关数据,并对这些数据进行分析和可视化。通过对数据的分析和可视化,可以深入了解QQ音乐平台上歌曲、歌手、用户等方面的信息,为用户提供更好的音乐推荐服务,为音乐产业提供更为准确的数据支持。关键词:Python;QQ音乐;数据爬取;数据分析;可视化通过本文的研究,我们成功利用Python编程语言对QQ音乐平台的相关数据进行爬取、分析和可视化,为音乐领域的数据研究提供了新的思路和方法。

m0_74320616的博客 2487
上一篇: 利用Python白玩steam游戏,我是专业的
下一篇: 用Python字符串的方式看黑人抬棺,我的快乐就这么简单
Python_sn
博客等级 码龄6年 324粉丝 290原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值