Python爬虫：获取京东商城商品信息

最新推荐文章于 2025-04-09 23:19:12 发布

影雀

最新推荐文章于 2025-04-09 23:19:12 发布

阅读量1.8w

点赞数 13

CC 4.0 BY-SA版权

分类专栏： Python爬虫开发爬虫开发文章标签：京东 python 爬虫

如转载请指明出处！

本文链接：https://blog.youkuaiyun.com/qq_42952437/article/details/98786239

爬虫开发同时被 2 个专栏收录

39 篇文章

订阅专栏

Python爬虫开发

34 篇文章

订阅专栏

本文分享了使用Python和Selenium爬取京东商城商品详细信息的实战经验，包括商品价格、名称、评论数、性价比、店铺及商品详情页指标。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬取京东商城商品信息

爬取：商品价格商品名商品评论数商品购买值店铺详情页商品指标

直接上代码：

from selenium import webdriver
import requests
from multiprocessing.pool import Pool
from lxml import etree
#爬取京东商城
browser = webdriver.PhantomJS()

def save(content):
    with open('television.doc', 'a', encoding='gbk')as f:
        f.writelines(content)

def paser_index(url):
    browser.get(url)
    selector = etree.HTML(browser.page_source)
    items = selector.xpath('//li[@class="gl-item"]')
    for item in items:
        price = '商品价格/元：'+item.xpath('.//strong[@class="J_price"]//i/text()')[0]
        title = str(item.xpath('./div/div[3]/a/em/text()')[0]).strip()
        comment = '评论数:'+item.xpath('.//div[@class="p-commit p-commit-n"]//a/text()')[0]
        price_buy = item.xpath('.//span[@class="buy-score"]/em/text()')
        if price_buy:
            price_buy = '商品性价比：'+price_buy[0]
        else:
            price_buy = 'none'
        shop = item.xpath('.//div[@class="p-shop"]/span/a/text()')[0]
        href = 'https:' + item.xpath('.//div[@class="p-img"]/a/@href')[0]
        print(price + '\n', title + '\n', comment + '\n', price_buy + '\n', shop + '\n')
        info = [price, title, comment, price_buy, shop]
        save('\n'.join(info))
        content = get_detail(href)
        detail_paser(content)


def get_detail(url):
    #获取商品详情页
    response = requests.get(url)
    return response.text

def detail_paser(content):
    #解析商品详情页
    details = etree.HTML(content)
    lis = details.xpath('//ul[@class="parameter2 p-parameter-list"]//li')
    for li in lis:
        prodrcts = li.xpath('.//text()')[0]
        save(prodrcts+'\n')
        print(prodrcts)
if __name__ == '__main__':
    #多线程爬取
    print('开始。。。。。。。。。。。。。。。。。。。。。。。。')
    urls = ['https://list.jd.com/list.html?cat=737,794,798&page={}'.format(str(i)) for i in range(1, 3)]
    pool = Pool()
    result = pool.map(paser_index, urls)
    pool.close()
    pool.join()

爬取结果如下：