Pythton数据爬去（2）-爬取所有页数据

最新推荐文章于 2024-04-03 00:16:15 发布

原创

最新推荐文章于 2024-04-03 00:16:15 发布 · 738 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#数据

本文介绍了如何在Python中爬取《谁说菜鸟不会数据分析》一书的所有评论数据。首先从第一页开始，通过获取评论总数和每页评论数计算出总页数，然后定义一个循环函数，对每个页面调用getJSONObject进行数据抓取。内容存储在一个名为contents的容器中。由于京东的反爬策略，需对代码进行优化以应对可能出现的错误。

……
经过上篇初爬后，我们得到《谁说菜鸟不会数据分析》第一页数据。

{
  
  'productAttr': None, 'productCommentSummary': {
  
  'goodRateShow': 97, 'poorRateShow': 1, 'poorCountStr': '80+', 'averageScore': 5, 'generalCountStr': '200+', 'oneYear': 0, 'showCount': 600, 'showCountStr': '600+', 'goodCount': 12000, 'generalRate': 0.02, 'generalCount': 200, 'skuId': 11944656, 'goodCountStr': '1.2万+', 'poorRate': 0.006, 'afterCount': 10, 'goodRateStyle': 146, 'poorCount':