Python代码获取京东SKU商品信息API接口(jd.item_sku)实战指南

在电商领域,获取商品的SKU(Stock Keeping Unit,库存进出计量的基本单元)信息对于库存管理、价格监控、商品推荐等场景至关重要。京东作为国内知名的电商平台,提供了丰富的API接口供开发者使用,其中jd.item_sku接口可以方便地获取商品的SKU信息。本文将详细介绍如何使用Python代码调用京东的jd.item_sku接口,获取商品的详细SKU信息。

一、前期准备

(一)注册京东开放平台账号

访问京东开放平台官网,注册开发者账号并完成实名认证。这是使用京东API的必要步骤。

(二)创建应用并获取API权限

  1. 登录京东开放平台,进入“我的应用”页面。

  2. 点击“创建应用”,填写应用名称、描述等信息。

  3. 在应用的“接口管理”中,找到jd.item_sku接口,申请调用权限。

  4. 申请通过后,获取App KeyApp Secret,这是调用API的必要凭证。

二、接口调用实战

(一)接口说明

jd.item_sku接口用于获取商品的SKU信息,包括商品的基本信息、价格、库存、规格等。以下是接口的基本参数和返回值说明。

请求参数

  • skuId:商品的SKU ID(必填)。

  • fields:需要返回的字段列表,如basicInfopricestock等(可选,默认返回所有字段)。

返回值

  • basicInfo:商品的基本信息,包括标题、图片等。

  • price:商品的价格信息。

  • stock:商品的库存信息。

  • specs:商品的规格信息。

(二)Python代码示例

以下是使用Python调用jd.item_sku接口的完整代码示例:

import requests
import hashlib
import time

class JD_API:
    def __init__(self, app_key, app_secret):
        self.app_key = app_key
        self.app_secret = app_secret
        self.api_url = "https://api.jd.com/routerjson"

    def sign(self, params):
        """生成签名"""
        sorted_params = sorted(params.items())
        sign_str = self.app_secret
        for k, v in sorted_params:
            sign_str += f"{k}{v}"
        sign_str += self.app_secret
        return hashlib.md5(sign_str.encode()).hexdigest().upper()

    def get_sku_info(self, sku_id, fields=None):
        """调用 jd.item_sku 接口获取商品信息"""
        params = {
            "method": "jd.item_sku.get",
            "app_key": self.app_key,
            "timestamp": time.strftime("%Y-%m-%d %H:%M:%S"),
            "v": "2.0",
            "format": "json",
            "skuId": sku_id,
        }

        if fields:
            params["fields"] = fields

        params["sign"] = self.sign(params)

        try:
            response = requests.get(self.api_url, params=params)
            response.raise_for_status()
            data = response.json()

            if "error_response" in data:
                error = data["error_response"]
                return {
                    "success": False,
                    "error_code": error["code"],
                    "error_msg": error["msg"]
                }

            return {
                "success": True,
                "data": data["jd_item_sku_get_response"]["item"]
            }

        except requests.exceptions.RequestException as e:
            return {
                "success": False,
                "error_msg": f"请求异常: {str(e)}"
            }

if __name__ == "__main__":
    APP_KEY = "your_app_key"
    APP_SECRET = "your_app_secret"

    jd_api = JD_API(APP_KEY, APP_SECRET)

    result = jd_api.get_sku_info(
        sku_id="123456789",
        fields="basicInfo,price,stock"
    )

    if result["success"]:
        print("获取商品信息成功:")
        print(result["data"])
    else:
        print(f"获取商品信息失败: {result.get('error_msg', '未知错误')}")
        if "error_code" in result:
            print(f"错误代码: {result['error_code']}")

(三)代码解析

  1. 签名生成:京东API要求对请求参数进行签名,以确保请求的安全性。签名算法是将所有参数按字母顺序排序后,拼接app_secret,然后使用MD5算法生成签名。

  2. 请求参数:除了API特定参数外,还需要传入公共参数如app_keytimestamp等。

  3. 错误处理:代码中包含了对HTTP请求异常和API返回错误的处理。

  4. 字段过滤:通过fields参数可以指定需要返回的字段,减少数据传输量。

三、返回数据解析

(一)成功响应示例

{
  "jd_item_sku_get_response": {
    "item": {
      "basicInfo": {
        "title": "商品标题",
        "picUrl": "商品图片链接"
      },
      "price": {
        "currentPrice": "当前价格",
        "originalPrice": "原价"
      },
      "stock": {
        "stockNum": "库存数量"
      },
      "specs": [
        {
          "specName": "规格名称",
          "specValue": "规格值"
        }
      ]
    }
  }
}

(二)失败响应示例

{
  "error_response": {
    "code": "400",
    "msg": "Invalid parameter"
  }
}

四、常见问题及解决方法

(一)签名错误

问题:签名错误,通常是sign参数不正确。

解决方法

  • 检查app_secret是否正确。

  • 确保参数排序正确,按照字母顺序排列。

  • 确保签名算法正确,使用MD5算法。

(二)权限不足

问题:权限不足,通常是code返回403

解决方法

  • 检查是否已申请jd.item_sku接口的调用权限。

  • 确保应用的权限未被限制。

(三)参数错误

问题:请求参数错误,通常是code返回400

解决方法

  • 检查请求参数是否符合API的要求。

  • 确保所有必填参数都已正确传递。

五、总结

通过本文的介绍,你应该已经掌握了如何使用Python代码调用京东的jd.item_sku接口,获取商品的SKU信息。在实际开发中,注意错误处理和日志记录,可以提高开发效率和代码的稳定性。

如遇任何疑问或有进一步的需求,请随时与我私信或者评论联系

D:\python.exe C:/Users/32936/PycharmProjects/数据采集/作业.py ================================================== 京东图书爬虫与情感分析程序启动 ================================================== 开始爬取京东图书数据... 启动浏览器... 访问京东首页... 京东首页加载成功 搜索关键词: Python编程 已提交搜索 已进入搜索结果页 等待商品列表加载... 正在处理第 1 页 本页找到 30 个商品 已处理 5/30 个商品 已处理 10/30 个商品 已处理 15/30 个商品 已处理 20/30 个商品 已处理 25/30 个商品 已处理 30/30 个商品 尝试翻页... 翻页成功 正在处理第 2 页 本页找到 30 个商品 已处理 5/30 个商品 已处理 10/30 个商品 已处理 15/30 个商品 已处理 20/30 个商品 已处理 25/30 个商品 已处理 30/30 个商品 浏览器已关闭 爬取完成,共获取 60 条图书数据 数据已保存到 jd_books.csv 开始分析书籍评论: Python编程 从入门到实践 第3版(图灵出品) 开始分析评论: https://item.jd.com/11993134.html 商品页面加载成功 切换到评论标签... 直接访问评论页 开始提取评论... 处理评论页 1 评论页处理错误: Message: Stacktrace: GetHandleVerifier [0x0xc53b...获取到有效评论 未获取到有效评论数据 from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.keys import Keys from selenium.common.exceptions import TimeoutException, NoSuchElementException, WebDriverException from bs4 import BeautifulSoup import requests import re import time import csv import random import os import sys from aip import AipNlp from webdriver_manager.chrome import ChromeDriverManager # 百度AI配置 APP_ID = '119348823' API_KEY = 'BMUyFD1qn0p4BgaRL5ZsFAHS' SECRET_KEY = 'jSvSCxAOm47OGB7JxM0g05UKWeagFFPe' client = AipNlp(APP_ID, API_KEY, SECRET_KEY) # 随机请求头 USER_AGENTS = [ "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.6422.142 Safari/537.36", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:126.0) Gecko/20100101 Firefox/126.0", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15" ] def get_driver(): """创建并配置浏览器驱动""" chrome_options = Options() # 调试时注释掉无头模式 # chrome_options.add_argument("--headless") chrome_options.add_argument("--disable-gpu") chrome_options.add_argument("--window-size=1920,1080") chrome_options.add_argument(f"user-agent={random.choice(USER_AGENTS)}") chrome_options.add_argument("--disable-blink-features=AutomationControlled") chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"]) chrome_options.add_experimental_option('useAutomationExtension', False) # 自动下载并管理ChromeDriver service = Service(ChromeDriverManager().install()) driver = webdriver.Chrome(service=service, options=chrome_options) # 隐藏自动化特征 driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})") return driver def jd_book_crawler(search_keyword, max_pages=2): """京东图书爬虫函数 - 增强健壮性""" print("启动浏览器...") driver = get_driver() books_data = [] try: print(f"访问京东首页...") driver.get("https://www.jd.com") time.sleep(random.uniform(1, 3)) print("京东首页加载成功") # 搜索图书 print(f"搜索关键词: {search_keyword}") try: # 多种定位搜索框的方式 search_box = WebDriverWait(driver, 15).until( EC.element_to_be_clickable((By.ID, "key")) ) except TimeoutException: # 备选定位方式 search_box = WebDriverWait(driver, 15).until( EC.element_to_be_clickable((By.CSS_SELECTOR, "input.search-key")) ) # 模拟真实输入 search_box.clear() for char in search_keyword: search_box.send_keys(char) time.sleep(random.uniform(0.05, 0.15)) # 提交搜索 search_box.send_keys(Keys.ENTER) print("已提交搜索") time.sleep(random.uniform(2, 4)) # 验证是否跳转到搜索结果页 try: WebDriverWait(driver, 15).until( EC.url_contains("search") ) print("已进入搜索结果页") except TimeoutException: print("可能遇到验证码或反爬页面,尝试重新加载...") driver.get(f"https://search.jd.com/Search?keyword={search_keyword}") time.sleep(random.uniform(3, 5)) # 等待结果加载 print("等待商品列表加载...") try: # 多种等待商品加载的方式 WebDriverWait(driver, 20).until( EC.presence_of_element_located((By.CSS_SELECTOR, ".gl-item, .goods-list-v2 .item, .j-sku-item")) ) time.sleep(random.uniform(1, 2)) except TimeoutException: print("商品加载超时,尝试备用加载方式...") # 尝试滚动页面触发加载 driver.execute_script("window.scrollTo(0, document.body.scrollHeight/3);") time.sleep(2) driver.execute_script("window.scrollTo(0, document.body.scrollHeight/2);") time.sleep(2) driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") time.sleep(3) for page in range(1, max_pages + 1): print(f"正在处理第 {page} 页") # 获取页面源码 html = driver.page_source soup = BeautifulSoup(html, 'html.parser') # 多种商品列表选择器 items = soup.select('.gl-item') # 京东主站 if not items: items = soup.select('.goods-list-v2 .item') # 图书频道 if not items: items = soup.select('.j-sku-item') # 备用选择器 if not items: print("警告:未找到商品元素,尝试保存页面源码以供分析") with open(f"jd_page_{page}.html", "w", encoding="utf-8") as f: f.write(html) print("页面源码已保存") continue print(f"本页找到 {len(items)} 个商品") for idx, item in enumerate(items): try: # 多种标题选择器 title_elem = item.select_one('.p-name a em') or \ item.select_one('.p-name a') or \ item.select_one('.p-name-type-2 a') or \ item.select_one('.name a') title = title_elem.text.strip() if title_elem else "N/A" # 多种价格选择器 price_elem = item.select_one('.p-price strong') or \ item.select_one('.p-price i') or \ item.select_one('.price-box .price') or \ item.select_one('.j-price') price = price_elem.text.strip() if price_elem else "0.00" # 提取SKU/ISBN isbn = item.get('data-sku') or item.get('data-spu') or "N/A" # 详情页URL detail_elem = item.select_one('.p-img a') or \ item.select_one('.pic a') or \ item.select_one('.name a') detail_url = detail_elem['href'] if detail_elem and 'href' in detail_elem.attrs else "" if detail_url and not detail_url.startswith('http'): detail_url = 'https:' + detail_url books_data.append({ 'title': title, 'price': price, 'isbn': isbn, 'url': detail_url }) if (idx + 1) % 5 == 0: print(f"已处理 {idx + 1}/{len(items)} 个商品") except Exception as e: print(f"商品 {idx + 1} 提取错误: {str(e)[:50]}...") # 翻页处理 if page < max_pages: print("尝试翻页...") try: # 多种翻页按钮定位方式 next_btn = WebDriverWait(driver, 10).until( EC.element_to_be_clickable((By.CSS_SELECTOR, '.pn-next, .pn-next:not(.disabled)')) ) driver.execute_script("arguments[0].scrollIntoView({behavior: 'smooth', block: 'center'});", next_btn) time.sleep(0.5) driver.execute_script("arguments[0].click();", next_btn) time.sleep(random.uniform(3, 5)) # 等待新页面加载 try: WebDriverWait(driver, 15).until( EC.presence_of_element_located( (By.CSS_SELECTOR, ".gl-item, .goods-list-v2 .item, .j-sku-item")) ) print("翻页成功") except TimeoutException: print("翻页后商品加载超时,继续尝试...") except (TimeoutException, NoSuchElementException): print("无法找到下一页按钮,尝试URL翻页...") current_url = driver.current_url if "page=" in current_url: new_page = page + 1 new_url = re.sub(r"page=\d+", f"page={new_page}", current_url) else: new_url = current_url + f"&page={new_page}" driver.get(new_url) time.sleep(random.uniform(3, 5)) print(f"已跳转到第 {new_page} 页") except Exception as e: print(f"爬取过程中发生严重错误: {str(e)}") # 保存当前页面供调试 with open("jd_error_page.html", "w", encoding="utf-8") as f: f.write(driver.page_source) print("错误页面已保存为 jd_error_page.html") finally: driver.quit() print(f"浏览器已关闭") print(f"爬取完成,共获取 {len(books_data)} 条图书数据") return books_data def analyze_comments_sentiment(comment_url): """评论情感分析""" if not comment_url: print("无有效URL,跳过评论分析") return [] print(f"开始分析评论: {comment_url}") driver = get_driver() sentiments = [] try: driver.get(comment_url) time.sleep(random.uniform(3, 5)) print("商品页面加载成功") # 切换到评论标签 - 更健壮的等待方式 print("切换到评论标签...") try: # 尝试点击评论标签 comment_tab = WebDriverWait(driver, 15).until( EC.element_to_be_clickable((By.CSS_SELECTOR, "[data-anchor='#comment']")) ) driver.execute_script("arguments[0].click();", comment_tab) time.sleep(random.uniform(2, 3)) print("评论标签切换成功") except: # 如果找不到元素,尝试直接访问评论URL if "#comment" not in driver.current_url: driver.get(comment_url + "#comment") print("直接访问评论页") time.sleep(random.uniform(3, 5)) # 提取评论内容 comments = [] print("开始提取评论...") for page_num in range(1, 4): # 最多尝试3页 print(f"处理评论页 {page_num}") try: # 等待评论加载 WebDriverWait(driver, 15).until( EC.presence_of_element_located((By.CSS_SELECTOR, ".comment-item")) ) time.sleep(random.uniform(1, 2)) soup = BeautifulSoup(driver.page_source, 'html.parser') comment_items = soup.select('.comment-item') print(f"本页找到 {len(comment_items)} 条评论") for idx, item in enumerate(comment_items): try: comment_elem = item.select_one('.comment-con') or item.select_one('.comment-content') if comment_elem: comment = comment_elem.get_text(strip=True) if 10 < len(comment) < 200: # 过滤过长/过短评论 comments.append(comment) except: continue # 检查是否达到所需评论数 if len(comments) >= 15: print(f"已收集足够评论({len(comments)}条)") break # 尝试翻页 try: next_btn = driver.find_element(By.CSS_SELECTOR, '.ui-pager-next') if "disabled" in next_btn.get_attribute("class"): print("已是最后一页") break print("翻到下一页评论") driver.execute_script("arguments[0].scrollIntoView();", next_btn) time.sleep(0.5) driver.execute_script("arguments[0].click();", next_btn) time.sleep(random.uniform(2, 4)) except Exception as e: print(f"评论翻页失败: {str(e)[:50]}...") break except Exception as e: print(f"评论页处理错误: {str(e)[:50]}...") break except Exception as e: print(f"评论爬取失败: {str(e)[:50]}...") finally: driver.quit() if not comments: print("未获取到有效评论") return [] print(f"共获取 {len(comments)} 条评论,开始情感分析...") # 情感分析 sentiment_results = [] for i, comment in enumerate(comments[:15]): # 限制分析数量 try: # 控制请求频率 if i > 0 and i % 3 == 0: delay = random.uniform(0.5, 1.5) time.sleep(delay) # 确保文本长度符合要求 text = comment[:min(len(comment), 500)] result = client.sentimentClassify(text) if 'items' in result and len(result['items']) > 0: sentiment = result['items'][0]['sentiment'] sentiment_results.append(sentiment) # 打印进度 if (i + 1) % 5 == 0: print(f"已分析 {i + 1}/{len(comments[:15])} 条评论") except Exception as e: print(f"评论 {i + 1} 情感分析错误: {str(e)[:50]}...") print(f"情感分析完成,共分析 {len(sentiment_results)} 条评论") return sentiment_results def main(): print("=" * 50) print("京东图书爬虫与情感分析程序启动") print("=" * 50) # 爬取图书数据 print("\n开始爬取京东图书数据...") books = jd_book_crawler("Python编程", max_pages=2) # 保存结果到CSV if books: filename = 'jd_books.csv' with open(filename, 'w', newline='', encoding='utf-8-sig') as f: writer = csv.DictWriter(f, fieldnames=['title', 'price', 'isbn', 'url']) writer.writeheader() writer.writerows(books) print(f"\n数据已保存到 {filename}") # 对第一本书进行评论分析 if books: first_book = books[0] print(f"\n开始分析书籍评论: {first_book['title']}") sentiments = analyze_comments_sentiment(first_book['url']) if sentiments: # 统计情感分布 positive = sum(1 for s in sentiments if s == 2) negative = sum(1 for s in sentiments if s == 0) neutral = sum(1 for s in sentiments if s == 1) total = len(sentiments) print("\n情感分析结果:") print(f"样本数量: {total}") print(f"积极评价: {positive} ({positive / total:.1%})") print(f"中性评价: {neutral} ({neutral / total:.1%})") print(f"消极评价: {negative} ({negative / total:.1%})") else: print("未获取到有效评论数据") else: print("没有可分析的图书数据") else: print("未爬取到图书数据") print("\n程序执行完成") if __name__ == "__main__": main() 爬取信息,并使用百度AI进行情感分析。 要求: 1.使用requests库获取网页内容。 2.使用BeautifulSoup库解析网页,提取商品名称、价格、评价等信息。 3.使用re库对提取的信息进行清洗。 4.使用Xpath库提取商品详情页面的链接,并获取商品详情。 5.使用selenium库模拟浏览器操作,爬取需要登录才能访问的商品评价信息。 6.使用baidu_aip库对商品评价进行情感分析,判断评价的正面或负面情绪。 修改的时候不要偏题
06-27
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值