用Java实现网易云音乐爬虫（非selenium）

最新推荐文章于 2024-06-26 09:40:17 发布
最新推荐文章于 2024-06-26 09:40:17 发布
阅读量2.7k 收藏 7
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 爬虫 java 文章标签： 云音乐 api 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bobozhangyx/article/details/78024004
本文介绍了一个基于Java的网易云音乐爬虫项目，利用httpclient而非模拟浏览器的方式调用网易云音乐API，实现了歌曲评论及用户听歌记录的数据抓取。通过歌曲ID获取评论，并进一步挖掘用户ID来获取其听歌历史。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

代码地址：https://git.oschina.net/bobozhangyx/java-crawler/tree/master/music163

主要内容：

  • 使用httpclient（非模拟浏览器）
  • 使用网易云音乐api
  • 采集：评论和用户最近听歌的统计

思路：

  1. 用一首歌的id作为入口，得到下面的所有评论 –> 取出用户id
  2. 通过用户id取出该用户最近听的歌 –> 得到歌的id
Python爬虫实战：深度解析网易云音乐与QQ音乐评论数据抓取
2201_76125261的博客
05-10 578
页面内容通过JavaScript渲染生成，常规。页面内容通过加密的POST请求获取，常规。
通过爬网易云音乐认识 selenium 及 webdriver
mingyuezhao01的博客
10-06 775
  参考文章：手把手教你写网络爬虫（1）：网易云音乐歌单 总结： 1、认识 selenium 库:       通过selenium 提供的API 用代码操纵浏览器，来模拟浏览器的各种操作，起到自动化测试的作用，本章仅仅利用此来写爬虫。 2、认识无头浏览器（headless browser):        无头浏览器是运行在正常浏览器内核中，而浏览器界面并没有任何可见的变化（不用频繁的...
java调用网易云音乐接口
10-24
java调用网易云音乐接口，并解析接口数据！ 暂时只做了通过关键字搜索相关的歌曲 http请求用的是httpclient4.0以上的版本
网易云音乐爬虫分析（Java后端，详细笔记过程）
DL_dldlhhj的博客
04-29 1559
网易云音乐评论爬虫数据分析（纯Java后端）
java爬取网易云歌单_GitHub - th720309/163music_spider: 网易云音乐歌单爬取
weixin_33709522的博客
02-25 804
今天花了一点时间抓取了网易云音乐的热门民谣歌单，共1500热门民谣歌单，后续有时间会爬取其他分类。下面记录一下java爬取过程。见下：爬虫过程1.首先抓取各个歌单的url与标题public static void DoPachong( String url_str, String charset) throws ClientProtocolException, IOException{HttpCl...
java爬取网易云歌单_爬取网易云音乐所有歌单
weixin_42298622的博客
02-25 531
网易云音乐歌单首页歌单第二页链接歌单第三页链接可以看出只有最后的数字在变化，所以进行url的构造，然后开始爬取import csvfrom lxml import etreeimport requestsfrom multiprocessing.dummy import Poolimport timeheaders = {'Referer':'http://music.163.com/','Hos...
java 爬虫 抓取 网易云音乐
烤鸭的世界我们不懂的博客
10-11 5847
大家好，我是烤鸭：      今天和大家交流一下爬虫，抓取网易云音乐。只讨论技术，不提倡其他的。 1.    找音乐源地址 谷歌浏览器 F12 ，找请求类型是 Media的。      2.     找请求链接 切换请求类型到 All，看 Response 包含 mp3 链接的。   3.     分析请求 请求头就不说了，主要是 formData 中有两个加密参数 par...
基于SpringBoot+HtmlClient+Jsoup实现java爬取网易云音乐.zip
05-25
在本项目中，“基于SpringBoot+HtmlClient+Jsoup实现java爬取网易云音乐.zip”是一个结合了多种技术的Java爬虫程序，用于抓取网易云音乐的数据。下面将详细介绍这个项目的各个组成部分及其相关知识点。 首先，...
SpringBoot结合Jsoup实现网易云音乐爬虫教程
资源摘要信息: "基于SpringBoot+HtmlClient+Jsoup实现java爬取网易云音乐.zip" 知识点详细说明： 1. SpringBoot框架： - SpringBoot是Spring的一个模块，它为快速构建Spring应用程序提供了基础，能够简化新Spring...
python利用selenium爬取网易云音乐
qq_22542787的博客
07-01 867
from selenium import webdriver import time class WY: def __init__(self): self.url = "https://music.163.com/#/discover/playlist/" self.driver = webdriver.Chrome() def all_url_1(self): ''' 定义各个大分类的名称和url ...
java实现在线抓取网易云用户信息
12-26
java实现在线抓取网易云用户信息，支持在线抓取网易云用户信息，用户头像，昵称，电话等等；抓取网易云音乐热门歌手及其歌曲、专辑等信息保存到数据库；使用HttpClient和Jsoup进行模拟请求并对网页进行解析；使用mybatis作为数据访问
网页版在线音乐系统
05-08
该项目采用SSM框架搭配MySQL数据库设计而成，页面素材样式比较简单，这里只注重功能点，你可根据你喜欢的样式进行修改，主要的功能点有：登录注册、查询歌曲、点歌、下载歌曲、上传歌曲等。该系统已经提供MySQL数据库支持，附加数据库即可运行
网易云音乐热歌榜爬取(用Jsonpath解析Json数据 + 面向对象写法)
Trial & Error
01-30 3703
要注意的一点是Jsonpath是从0开始数的，Xpath是从1开始数的 一般写法（函数式） import requests from requests.exceptions import RequestException import re import json import jsonpath import csv import time headers = { "User-Agent...
网易云音乐java爬虫_用Java实现网易云音乐爬虫
weixin_33756596的博客
02-16 4685
起因前两天在知乎上看到一个帖子《网易云音乐有哪些评论过万的歌曲？》，一时技痒，用Java实现了一个简单的爬虫，这里简单记录一下。最终的结果开放出来了，大家可以随意访问，请戳这里>>>>>> 网易云音乐爬虫结果。爬虫简介网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，一个通用的网络爬虫大致包含以下几个步骤：网络爬虫的大致流程如上图所示，无论你是做...
java爬取网易云歌单_Java爬取网易云音乐所有歌曲一：爬取所有歌手及其对应id...
weixin_40008920的博客
02-25 518
package com.ssm.jsoup.music;import com.ssm.utils.FileUtils;import org.jsoup.Connection;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Ele...
【java+selenium】网易云音乐刷累计听歌数
weixin_33763244的博客
03-27 703
背景 应该是在去年的时候，刷知乎看到一个问题，大概是说怎么刷网易云音乐个人累计听歌数，然后有一个高赞回答，贴了一段js代码，直接在浏览器console执行就可以了。当时试了下，直接一下子刷了有好几万。悲剧的是，第二天又回到原来的样子了，很明显这种方式被网易云音乐发现封掉了。而且后续网易云还针对累计听歌数加了一些限制，每天最多增加300首。今天带来一种通过java+selenium的方式，自动播放歌...
java爬虫 酷狗音乐
weixin_33387378的博客
01-09 1111
  1.pom.xml   有些依赖与本项目无关 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schema...
探索音乐世界的捷径 —— 使用Java调用QQ音乐与网易云音乐API神器
gitblog_00023的博客
06-26 584
探索音乐世界的捷径 —— 使用Java调用QQ音乐与网易云音乐API神器 去发现同类优质开源项目:https://gitcode.com/ 在数字音乐的时代，无论是开发者还是音乐爱好者，能够轻松地访问和操作音乐平台的数据无疑是一大乐事。今天，我们要向您推荐一款专为Java程序员打造的开源宝藏：Java版本的网易云音乐与QQ音乐API请求工具。由【诗水人间】精心维护，这款工具让你无需从头开始探索复杂...
Java爬取网易云音乐所有歌曲一：爬取所有歌手及其对应id
wfly blog
10-05 3910
使用jsoup包进行爬虫 <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.6.1</version> </dependency> 具体代码如下 下一...
selenium 网易云音乐爬虫
最新发布
03-10
### 使用 Selenium 抓取网易云音乐数据的方法 为了实现网易云音乐网站的数据抓取，需注意该站点大量内容由 JavaScript 动态加载[^2]。这意味着传统的基于静态 HTML 的请求方式难以直接获得所需信息。 #### 初始化 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值