最近,因为工作需要,需要获取天猫某一商品的全部评论数据。于是,写了一个python脚本,自动爬取所有评论。做个记录。
一、准备阶段
-
获取评论数据来源
天猫的评论数据一般会放在JS文件里,故我们只需要打开商品页,快捷键Fn+F12,选择NetWork,筛选JS文件,找到名称为“rate.tmall....”开头的文件。
复制JS文件的链接,在新的页面打开访问。
bingo!就是我们需要的评论数据。
二、python代码
-
导入需要的第三方库
2.生成链接列表
3.获取评论数据的函数