python爬取京东文胸数据(二)_爬虫京东罩杯-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_35680144/article/details/84257274

本文通过使用Python的requests和json库，演示了如何从京东网站爬取特定商品的多页评论数据，包括颜色和尺码信息，并分析了评论中提及的产品尺寸分布。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

##1.获取js请求
上一篇我们只抓取了一页的评论，今天我们多抓点

##2.比较异同


import requests
import json
import threading
import time
import re

class cpu:
    def __init__(self):
        self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'}

   
    def get_json(self,url):
        res = requests.get(url, headers=self.headers).text
        s = re.compile(r'fetchJSON_comment.*?\(')
        #我第二天准备爬多页的时候发现这个无关字符竟然改变了！所以我迫不得已又改了点，利用正则进行匹配
        uesless = str(s.findall(res))
        #要变成字符串不然lstrip会翻脸
        jd = json.loads(res.lstrip(uesless).rstrip(');'))
        com_list = jd['comments']
        for i in com_list:
            print(i['productColor'],i['productSize'])


if __name__ == '__main__':
    pa = cpu()
    for i in range(8):
        js_url = 'https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv12370&productId=19523497981&score=0&sortType=5&page=%d&pageSize=10&isShadowSku=0&rid=0&fold=1' % i
        time.sleep(1)
        t = threading.Thread(target=pa.get_json, args=(js_url,))
        t.start()

##3.分析结果

淡粉色 85C=38C(配XL码内裤)
黑色 70A=32A(配S码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 80B=36B(配L码内裤)
淡粉色 75A=34A(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 75A=34A(配M码内裤)
黑色 80B=36B(配L码内裤)
淡粉色 85A=38A(配XL码内裤)
黑色 80B=36B(配L码内裤)
黑色 80A=36A(配L码内裤)
黑色 85B=38B(配XL码内裤)
黑色 80B=36B(配L码内裤)
淡粉色 75C=34C(配M码内裤)
黑色 80A=36A(配L码内裤)
黑色 75B=34B(配M码内裤)
淡粉色 75B=34B(配M码内裤)
黑色 75B=34B(配M码内裤)
黑色 80C=36C(配L码内裤)
淡粉色 80B=36B(配L码内裤)
淡粉色 75B=34B(配M码内裤)
白色 75B=34B(配M码内裤)
黑色 75A=34A(配M码内裤)

目前我只爬了8页评论里面买的大小，一眼就看出不是B就是A, 特喜欢性感黑，C就3个，中国妹子的罩杯不行啊，要是有个C的女朋友可要珍惜，她是为数不多的一部分，作为一个单身工科男是A我也不在乎啊