一、背景介绍
1.1 爬取目标
熟悉我的小伙伴都了解,我之前开发过2款软件:
【采集软件】用Python开发的小红薯搜索采集工具,支持多关键词同时!
【采集软件】用Python开发的小红薯详情批量采集工具,含笔记正文、转评赞藏等
现在介绍的这个软件,相当于以上2个软件的结合版,即根据关键词爬取笔记的详情数据。
开发界面软件的目的:方便不懂编程代码的小白用户使用,无需安装python,无需改代码,双击打开即用!
软件界面截图:
爬取结果截图:
结果截图1:
结果截图2:
结果截图3:
以上。
1.2 演示视频
不懂编程的小白直接看视频,了解软件作用,无需看代码!!
【软件演示】爬小红薯条搜索详情软件
1.3 软件说明
几点重要说明:
以上。
二、代码讲解
2.1 爬虫采集-搜索接口
首先,定义接口地址作为请求地址:
# 请求地址
url = 'https://edith.xiaohongshu.com/api/sns/web/v1/search/notes'
定义一个请求头,用于伪造浏览器:
# 请求头
h1 = {
'Accept': 'application/json, text/plain, */*',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
'Content-Type': 'application/json;charset=UTF-8',
'Cookie': '换成自己的cookie值',
'Origin': 'https://www.xiaohongshu.com',
'Referer': 'https://www.xiaohongshu.com/',
'Sec-Ch-Ua': '"Microsoft Edge";v="119", "Chromium";v="119", "Not?A_Brand";v="24"',
'Sec-Ch-Ua-Mobile': '?0',
'Sec-Ch-Ua-Platform': '"macOS"',
'Sec-Fetch-Dest': 'empty',
'Sec-Fetch-Mode': 'cors',
'Sec-Fetch-Site': 'same-site',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.0.0',
}
加上请求参数,告诉程序你的爬取条件是什么:
# 请求参数
post_data = {
"keyword": search_keyword,