Java+Jsoup爬虫小红书

最新推荐文章于 2024-07-16 23:02:25 发布
原创 最新推荐文章于 2024-07-16 23:02:25 发布 · 3.3k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #jsoup #爬虫

本文介绍如何使用Java和Jsoup库抓取小红书、微博、B站等平台的文章点赞量、评论量和收藏量。通过F12分析网页结构，定位到所需数据的位置，并利用Jsoup进行高效的数据抓取。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

源码链接：https://pan.baidu.com/s/1oOAxJqSMCyVJPNv-iAYW7A
提取码：1co9

Java+Jsoup爬虫小红书，微博，B站
爬取地址：https://www.xiaohongshu.com/discovery/item/5e92cdf70000000001009b42
目标：抓取文章的点赞量，收藏量，评论量
在这里插入图片描述

1.F12分析下页面

点赞量：.operation-block下面的.like下面的span
评论量：.operation-block下面的.comment下面的span
收藏量：.operation-block下面的.star下面的span

2.使用Jsoup进行抓取
在这里插入图片描述

Python爬虫实战：利用最新技术爬取小红书笔记数据
2201_76125261的博客
06-30 2330
小红书作为中国领先的生活方式分享平台，拥有海量的用户生成内容(UGC)，涵盖美妆、时尚、旅行、美食等多个领域。这些数据对于市场分析、竞品研究、用户行为洞察等方面具有重要价值。本文将详细介绍如何使用Python最新技术栈构建一个高效、稳定的爬虫系统来获取小红书笔记数据。本文详细介绍了如何使用Python最新技术栈构建一个高效、稳定的爬虫系统来获取小红书笔记数据。使用Playwright处理动态渲染页面完善的代理和验证码处理机制分布式爬虫架构设计数据解析与存储方案内容分析和机器学习集成。
spring boot+java +jsoup+ 爬虫
03-30
针对java语言 编写的爬虫demo，爬取互联网图片资源 寻找图片素材，自动下载到本地
小红书api封装sdk（JAVA）
05-25
封装了小红书API，包含订单列表、订单详情、商品基础列表、库存同步、商家自主发货。 例子： XHSClient client = new DefaultXHSClient(); OrderListGetRequest request = new OrderListGetRequest(); OrderListGet order = new OrderListGet(); order.setStatus("waiting"); order.setStart_time(startTime.getTime()/1000+""); order.setEnd_time(endTime.getTime()/1000+""); order.setLogistics("red_auto"); order.setPage_no(pageNo); order.setPage_size(pageSize); request.setOrderListGet(order); OrderListGetResponse response = client.execute(request, shopApp);
Java SpringBoot Jsoup爬取小红书文章内容 利用JavaCV自动生成音视频 并发布到抖音
峰子哥哥的博客
11-30 6437
一、引入相关maven 二、根据小红书文章链接爬取文章内容和图片 三、根据图片、文字、音频等生成视频文件 1、生成视频工具类 2、上传视频到抖音 一、引入相关maven <!-- Jsoup 解析HTML文本 --> <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifa
如何利用little红书数据爬取分析(仅数据分析)
m0_62673499的博客
04-12 1307
爬取的数据包括评论者昵称，id，评论级别，评论内容先上个图。
java_webmagic_小红书_社区精选
weixin_44393345的博客
04-21 600
封装类 public class PC { private String href; private String title; private String nickname; private String img; private String likes; private String userhref; public P...
使用Java+Jsoup做数据爬虫
12-22
仅供学习交流 爬取的资源：爬取某招聘网站的Java岗位的招聘信息，并保存到数据库。 Jsoup使用教程 代码示例 1.准备工作 引入依赖（pom.xml） junit junit 4.12 org.jsoup jsoup 1.11.2 org.apache.httpcomponents httpclient 4.5.6
java+idea+jsoup 爬虫
04-03
Java + IntelliJ IDEA + Jsoup 爬虫是一个高效且便捷的网页抓取解决方案。Jsoup 是一个用于处理实际世界HTML的Java库，它提供了非常方便的API，用于提取和操作数据，使用DOM、CSS以及类似于jQuery的方法。在这个项目...
使用Java+Jsoup爬取某音乐平台的音乐
最新发布
12-10
小编自己写的一个简单的爬取音乐的小案例，仅供学习参考，希望能帮助到大家
SpringBoot+jsoup爬虫
05-14
**SpringBoot+Jsoup爬虫详解** 在现代Web开发中，数据抓取（或称爬虫）是一项重要的技能，尤其对于数据分析、市场研究和自动化任务。SpringBoot与Jsoup的结合提供了一个高效、灵活的解决方案来实现这个目标。本文将...
小红书java_java技巧
weixin_36320737的博客
02-15 432
Hello大家好～我是yiyu[萌萌哒R]先给大家鞠个躬[飞吻R]毕竟一日之间粉丝“暴涨”400多对人海中像我这样的小透明来说真的是受宠若惊。不过有可能会让大家失望的是，我不会频繁更博或者小红书[哭惹R]。一是因为每日的生活两点一线，学业压力又比较重，的确难以抽出时间；二是因为学习心得的分享与好物分享不同，需要多年的积累和沉淀，不可能常换常新，因此就我个人来说，短期内能分享的也着实有限。说到这儿觉...
Jsoup爬笔趣阁小说
09-09
可以下载笔趣阁所有的小说，支持搜索，用Jsoup+mysql，用的技术就很简单，有示例代码每一行都有注释，给新手练手用，不懂的可以留言 我有时间可以看看回复
thymeleaf获取cookie缓存值
HLComet_Bay_WC的博客
09-09 3437
<input type="house" id="loggedUserId" th:each="cookie :${#httpServletRequest.getCookies()}" th:if="${cookie.getName().equals('userId')}" th:value="${cookie.getValue()}"> 需要遍历该浏览器的所有cookie以获得对应值 ...
java实现点赞功能，记录点赞数，只点一次
sinat_36891648的博客
08-25 1647
需求：用户点击增加点赞数，再次点击取消点赞，并记录点赞数 1.使用redis记录点赞信息，防止重复点赞或取消点赞 2.使用数据库记录点赞记录、用户表记录点赞数
python 爬取小红书
weixin_52019286的博客
07-16 6029
明确采集的网站及数据内容。
3.0小红书自动点赞收藏评论 支持多账号登入 无限曝光截流 (电脑协议)
04-20 3344
2024最新小红薯采集精准笔记 全自动点赞/收藏/评论 支持N个账号同时操作 无限截流 私域获客必备！！！下载链接：百度网盘 请输入提取码
小红书app复制链接转换为可直接访问链接
热门推荐
m0_46639364的博客
11-10 3万+
当你在小红书复制某篇笔记链接，黏贴出来是这个样子的 这种链接只有打开小红书app才能够访问，那么怎么把这种链接转换为可直接访问的格式呢？ 执行下方代码即可 import requests import json def shortToLong(shortUrl): url = 'http://api.dwzjh.com/api/reduction?url={}'.format(shortUrl) res = requests.get(url).text res_dict = js
探索数据宝藏：XHS——小红书数据爬取神器
gitblog_00050的博客
05-21 3655
探索数据宝藏：XHS——小红书数据爬取神器 项目地址:https://gitcode.com/gh_mirrors/xh/xhs 在信息爆炸的时代，数据的价值愈发凸显，而小红书作为生活方式分享平台，其丰富的用户生成内容（UGC）更是数据挖掘的金矿。为此，我们为你带来了XHS，一个精心设计的Python爬虫工具，专为从小红书网站提取数据而生。 项目介绍 XHS 是一个简洁而强大的开源项目，它的主要功...
X书打击爬取平台数据行为
Codeooo 博客
07-17 1万+
此次提起民事诉讼，X书请求法院判令常州积奇立即停止不正当竞争行为，并赔偿经济损失。获取这些数据后，蝉妈妈、艺恩星数会将数据进行处理，以部分功能免费、高级功能收费形式，对外提供小红书创作者、直播、笔记等数据，并提供数据分析、榜单排行、数据监控等数据服务。7月8日，小红书宣布正式对蝉妈妈、艺恩星数、常州积奇等几家公司提起民事诉讼，称这些公司利用不正当技术手段爬取小红书平台信息内容及数据，同时对爬取后的数据内容进行存储、加工并予以商业化利用，损害了用户及小红书公司的合法权益。...
怎么用java代码获取点击的小红书里的评论内容？
11-19
在小红书这类基于Web的应用中，获取页面内容通常涉及到网络爬虫技术，尤其是当评论数据不在公开API中时。如果你想要获取小红书帖子的评论内容，你需要模拟浏览器行为并解析HTML。这里是一个简单的步骤概述： 1. **导入必要的库**: 使用`Jsoup`库来处理HTML文档，它是一个强大的Java工具，专门用于解析HTML。 ```java import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; ``` 2. **发送HTTP请求**: 利用如`HttpURLConnection`或第三方库`OkHttp`发起GET请求到目标帖子的URL。 ```java import java.io.BufferedReader; import java.io.InputStreamReader; import java.net.URL; String url = "https://www.xiaohongshu.com/post/[post_id]"; URL u = new URL(url); Document doc = Jsoup.connect(u).get(); ``` 记得替换 `[post_id]` 为实际帖子的ID。 3. **解析评论部分**: 找到包含评论的部分，这通常是通过CSS选择器或者XPath表达式找到。例如，如果评论在`<div>`标签内且有特定class名，可以这样操作： ```java Elements comments = doc.select(".comment-container"); // 假设`.comment-container`是你能找到评论的地方 ``` 4. **遍历并提取评论**: 对每个找到的评论元素，获取其文本内容。 ```java for (Element comment : comments) { String commentText = comment.text(); // 获取评论文字 System.out.println(commentText); } ``` 请注意，这种方法可能会受到网站反爬策略的影响，如果小红书检测到频繁的非正常访问，可能会封禁IP。因此，在实际操作前，你需要遵守网站的robots.txt规则，并确保你的抓取行为不会对服务造成负面影响。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值