python爬虫(7)——获取京东商品评论信息

本文介绍了一种爬取京东商品评论的方法,通过分析网页信息定位到加载评论的JS页面,提取评论信息并存储到MySQL数据库。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文借鉴了之前爬取天猫商品评论的思想,先通过分析网页信息来定位京东加载商品评论信息的JS页面,然后从中提取出想要的商品评论信息并存入MySQL数据库

1.分析网页信息

本文在进行各项操作时同样以小米6为例,首先打开京东上小米6销量最高的某店铺,在火狐浏览器下按F12查看网页详细信息。在网络模式定位加载商品评论信息的JS页面,找到文件名带ProductPageComment关键词域名为club.jd.com的脚本页面,选中该页面,在右侧点击预览,如下图所示:

这里写图片描述

由上图可以判断该页面即为加载商品评论信息的JS页面。然后,我们在右侧点击消息头,可以看到该JS页面的请求网站,如下图所示:

这里写图片描述

复制该请求网址(https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv56668&productId=4099139&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1),并在浏览器中打开,如下图所示:

这里写图片描述

我们接下来的任务就是从该网址中提取出我们想要的信息。通过分析该页面数据信息可以发现,该页面数据信息的结构是:fetchJSON_comment98vv337(JSON格式数据),我们在通过JSON方式提取页面信息时,需要先过滤掉无关信息,如jsondata = html[27:-2]这样的方式。过滤之后可以得到纯JSON格式数据,通过和原网页数据进行对比分析可以发现,该JSON数据中的“referenceName”属性对应的是商品全名(商品名+关键参数信息),“creationTime”属性对应的是用户评论时间“content”属性对应的是用户评论内容。下面就将根据以上分析得到的结果编写Python代码提取商品评论数据,并存入MySQL数据库中

2.代码实现

实现代码如下所示:

# -*- coding: utf-8 -*-
"""
Created on Wed Jul 12 15:29:04 2017

@author: Administrator
"""

import urllib.request
import json
import time
import random
import pymysql.cursors

def crawlProductComment(url,page):

    #读取原始数据(注意选择gbk编码方式)
    html = urllib.request.urlopen(url).read().decode('gbk')

    #从原始数据中提取出JSON格式数据(分别以'{'和'}'作为开始和结束标志)
    jsondata = html[27:-2]
    #print(jsondata)
    data = json.loads(jsondata)

    #print(data['comments'])
    #print(data['comments'][0]['content'])
    #遍历商品评论列表
    for i in data['comments']:
        productName = i['referenceName']
        commentTime = i['creationTime']
        content = i['content']

        #输出商品评论关键信息
        print("商品全名:{}".format(productName))
        print("用户评论时间:{}".format(commentTime))
        print("用户评论内容:{}".format(content))
        print("-----------------------------")

        '''
        数据库操作
        '''

        #获取数据库链接
        connection  = pymysql.connect(host = 'localhost',
                                  user = 'root',
                                  password = '123456',
                                  db = 'jd',
                                  charset = 'utf8mb4')
        try:
            #获取会话指针
            with connection.cursor() as cursor:
                #创建sql语句
                sql = "insert into `jd-mi6` (`productName`,`commentTime`,`content`) values (%s,%s,%s)"

                #执行sql语句
                cursor.execute(sql,(productName,commentTime,content))

                #提交数据库
                connection.commit()
        finally:
            connection.close()


for i in range(0,10):
    print("正在获取第{}页评论数据!".format(i+1))
    #小米6评论链接,通过更改page参数的值来循环读取多页评论信息
    url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv56668&productId=4099139&score=0&sortType=5&page=' + str(i) +'&pageSize=10&isShadowSku=0&fold=1'
    crawlProductComment(url,i)
    #设置休眠时间
    time.sleep(random.randint(31,33))

执行结果如下图所示:

这里写图片描述

MySQL数据库中的数据存储如下图所示:

这里写图片描述

Python爬取京东手机参数通常涉及到网络爬虫技术,其中Pandas库常用于数据处理,BeautifulSoup或Scrapy框架则用于解析HTML网页。以下是一个简单的示例,说明如何分页爬取京东商城的手机商品信息: 首先,安装必要的库: ```bash pip install requests beautifulsoup4 pandas ``` 然后,编写一个基本的爬虫脚本,这里以requests和BeautifulSoup为基础: ```python import requests from bs4 import BeautifulSoup import pandas as pd def get_page_content(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } response = requests.get(url, headers=headers) if response.status_code == 200: return response.text else: print(f"请求失败,状态码:{response.status_code}") return None def parse_page(html): soup = BeautifulSoup(html, 'html.parser') # 提取商品信息,假设手机参数在`div`标签内,如品牌、型号价格等 phones_info = soup.find_all('div', class_='product-info') data = [] for info in phones_info: brand = info.find('span', class_='p-name').text.strip() model = info.find('span', class_='p-name-detail').text.strip() price = info.find('em', class_='p-price').text.strip() # 添加其他参数,例如内存、分辨率等 # memory = info.find('span', class_='some-class-for-memory').text.strip() if exists else '' # resolution = info.find('span', class_='some-class-for-resolution').text.strip() if exists else '' data.append({ 'Brand': brand, 'Model': model, 'Price': price, # ...其他参数 }) return data def fetch_jd_phone_params(start_url, num_pages=1): phone_data = [] for i in range(num_pages): url = f"{start_url}?page={i + 1}" html = get_page_content(url) if html is not None: parsed_data = parse_page(html) phone_data.extend(parsed_data) df = pd.DataFrame(phone_data) return df # 示例开始URL start_url = "https://search.jd.com/Search?keyword=%E7%A7%BB%E5%8A%A8&enc=utf-8&wq=%E7%A7%BB%E5%8A%A8" # 爬取并保存结果 df = fetch_jd_phone_params(start_url) df.to_csv('jd_phones.csv', index=False) print("爬取完成,数据已保存到jd_phones.csv")
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值