爬虫Spider--爬取京东某产品的评价

最新推荐文章于 2024-03-11 12:51:46 发布

原创

最新推荐文章于 2024-03-11 12:51:46 发布 · 1.3k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫小案例

这篇博客详述了4种爬取京东某产品评价的方法，包括简易和全面的方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本篇博客提供了4种方式，有简略版仅能完成要求却简陋，也有较为完整的方式

# -*- coding:utf-8 -*-
import re
import urllib2
import json
import sys

if sys.getdefaultencoding() != 'utf-8':
    reload(sys)
    sys.setdefaultencoding('utf-8')
class JDSpider:
    def loadPage(self):
        url = "https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv566&productId=100001906474&score=0&sortType=5&page=1&pageSize=10&isShadowSku=0&rid=0&fold=1"
        user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
        headers = {'User-Agent': user_agent}
        req = urllib2.Request(url,headers=headers)
        response = urllib2.urlopen(req)
        html = response.read()
        pattern = re.compile('"content":"(.*?)".*?"nickname":"(.*?)"')
        # print html.decode("gbk")
        # pattern = re.compile(r',"creationTime"(.*?)"nickname":')
        # html = p