Google Play评论抓取

最新推荐文章于 2025-03-25 10:36:58 发布

正在努力的老袁

最新推荐文章于 2025-03-25 10:36:58 发布

阅读量3.7k

点赞数 1

分类专栏： web抓取

本文链接：https://blog.youkuaiyun.com/qq_41350612/article/details/112966968

版权

web抓取专栏收录该内容

1 篇文章

订阅专栏

本文介绍了如何抓取Chrome浏览器在Google Play的用户评论，强调了'hl=en'参数对于显示英文评论的重要性。通过示例展示了如何获取第一页评论的Xpath和正则表达式方法，以及如何利用curl命令进行翻页抓取，提取下一页的参数。同时，解释了form_data中的hl参数用于切换地区。虽然没有提供源代码，但鼓励读者自行实践以加深理解。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

注: 抓取Google评论的时候，'hl=en' 这个参数是关键，en是英语，所以你看到的评论就是英语的，其他地区看不到

以下是针对chrome浏览器的评论抓取

APP链接: https://play.google.com/store/apps/details?id=com.android.chrome&showAllReviews=true&hl=en

第一页的数据用 Xpath 或者正则的方式获取评论，其中用户名称，评论时间，打星数量都有

翻页抓取

上面的这个字符串是下一页的标识 (获取方式是请求当前访问的URL链接（https://play.google.com/store/apps/details?id=com.android.chrome&showAllReviews=true&hl=en）然后用正则获取整个json，然后取出)

下面是使用方法

curl 'https://play.google.com/_/PlayStoreUi/data/batchexecute' \
  --data-raw 'f.req=[[["UsvDTd","[null,null,[2,null,[40,null,\"CsUBCsIBKpsBCm73O5rLG_____9nYWlhOjAwMDAwMGU2YTRiMTNmOTQ6MTp2bToxMDczODQ5MjEwOTI0ODU4NDI0OQD_Af_-Z2FpYTowMDAwMDBlNmE0YjEzZjk0OjE6dm06MTA3Mzg0OTIxMDkyNDg1ODQyNDkAARAoIWtbxE9mhitbOQAAAADkNGXESAFQAFoLCWDbJ26NiKTXEANgwdyvoQIyIgogCh5hbmRyb2lkX2hlbHBmdWxuZXNzX3FzY29yZV92MmE\"],null,[]],[\"com.android.chrome\",7]]",null,"generic"]]]&hl=en' \
  --compressed


form_data中 [[["UsvDTd","[null,null,[2,null,[40,null,\"  后面这堆字符串是下一页的参数


form_data中 hl=en 是控制抓取内容语言的功能, 切换地区可换，如 hl=id, hl=zh-CN


请求返回的json，需要处理一下，json当中存在下一页的参数，在json的最后

一个简单的Google Play评论的抓取就完成了，大家可以参考这个案例去抓取其他APP的评论。

源代码就不发了，自己操作一遍就能明白，学会了是自己的，在这里祝大家步步高升。