利用 Python 爬虫按关键字搜索 1688 商品

最新推荐文章于 2025-12-03 17:07:06 发布

原创最新推荐文章于 2025-12-03 17:07:06 发布 · 1k 阅读

CC 4.0 BY-SA版权

文章标签：

在电商领域，按关键字搜索 1688 商品并获取其详情数据对于市场分析、竞品研究和用户体验优化至关重要。1688 作为国内领先的 B2B 电商平台，提供了丰富的商品资源和强大的 API 接口。通过 Python 爬虫技术，我们可以高效地实现这一目标。本文将详细介绍如何利用 Python 爬虫按关键字搜索 1688 商品，并提供完整的代码示例。

一、准备工作

（一）注册 1688 开放平台账号

首先，需要在 1688 开放平台注册一个开发者账号。登录后，创建一个新的应用，获取应用的 App Key 和 App Secret，这些凭证将用于后续的 API 调用。

（二）安装必要的 Python 库

安装以下 Python 库，用于发送 HTTP 请求和解析 HTML 内容：

bash

pip install requests beautifulsoup4 pandas

如果需要处理动态加载的内容，还可以安装 selenium。

二、爬虫实现步骤

（一）发送 HTTP 请求

使用 requests 库发送 GET 请求，获取商品页面的 HTML 内容。

Python

import requests

def get_html(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    else:
        print("Failed to retrieve the page")
        return None

（二）解析 HTML 内容

使用 BeautifulSoup 解析 HTML 内容，提取商品详情。

Python

from bs4 import BeautifulSoup

def parse_html(html):
    soup = BeautifulSoup(html, 'html.parser')
    product_name = soup.find('h1', class_='d-title').text.strip()
    product_price = soup.find('span', class_='price-tag-text-sku').text.strip()
    product_image = soup.find('img', class_='desc-lazyload')['src']
    return {
        'name': product_name,
        'price': product_price,
        'image': product_image
    }

（三）按关键字搜索商品

根据关键字构建搜索 URL，并获取搜索结果页面的 HTML 内容。

Python

def search_products(keyword, page=1):
    url = f"https://search.1688.com/?keywords={keyword}&page={page}"
    html = get_html(url)
    soup = BeautifulSoup(html, 'html.parser')
    products = []
    for item in soup.select('.sm-offer-item'):
        title = item.select_one('.title').text.strip()
        price = item.select_one('.price').text.strip()
        link = item.select_one('a')['href']
        products.append({
            'title': title,
            'price': price,
            'link': link
        })
    return products

（四）整合代码

将上述功能整合到主程序中，实现完整的爬虫程序。

Python

def main():
    keyword = "苹果手机"
    products = search_products(keyword)
    for product in products:
        print(product)
        details = parse_html(get_html(product['link']))
        print(details)

if __name__ == "__main__":
    main()