Python爬虫淘宝商品信息定向爬虫

最新推荐文章于 2024-01-25 20:04:05 发布

原创最新推荐文章于 2024-01-25 20:04:05 发布 · 775 阅读

3 ·

CC 4.0 BY-SA版权

Python网络爬虫与信息提取专栏收录该内容

16 篇文章

订阅专栏

本文介绍了一种使用Python的requests和re模块从淘宝网站抓取商品信息的方法。通过定义函数getHTMLText获取网页源码，parsePage解析网页并提取商品价格和标题，最后通过printGoodsList打印所有抓取的商品信息。示例展示了如何抓取和显示前两页的书包商品信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码：

import requests
import re
 
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
     
def parsePage(ilt, html):
    try:
        plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)
        tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)
        for i in range(len(plt)):
            price = eval(plt[i].split(':')[1])
            title = eval(tlt[i].split(':')[1])
            ilt.append([price, title])
    except:
        print("")
 
def printGoodsList(ilt):
    tplt = "{:4}\t{:8}\t{:16}"
    print(tplt.format("序号", "价格", "商品名称"))
    count = 0
    for g in ilt:
        count = count + 1
        print(tplt.format(count, g[0], g[1]))
            
def main():
    goods = '书包'
    depth = 2
    start_url = 'https://s.taobao.com/search?q=' + goods
    infoList = []
    for i in range(depth):
        try:
            url = start_url + '&s=' + str(44*i)
            html = getHTMLText(url)
            parsePage(infoList, html)
        except:
            continue
    printGoodsList(infoList)
     
main()

输出：

序号  	价格      	商品名称            
   1	55.00   	儿童书包小学生女孩1-3-5年级6-12周岁女童减负可爱公主双肩背包
   2	118.00  	KK树小学生书包儿童减负护脊4男童男孩减压女童五女孩1-3-6一年级
   3	59.00   	美琪猫护脊小学生书包男女儿童1-3-5-6年级12周岁防水双背肩包耐
   4	49.00   	学院风韩版校园帆布背包书包男时尚潮流青少年初中高中学生双肩包
   5	85.00   	迪士尼书包小学生女孩1-3年级苏菲亚公主女童儿童可爱减负6-12岁
   6	89.00   	迪士尼书包小学生女生1-3-6一年级冰雪奇缘女童12周岁女孩儿童女4
   7	118.00  	韩国kk树小学生书包男孩1-3-4-6年级儿童双肩包6-12周岁女孩护脊
   8	118.00  	kk树儿童书包女生6-12周岁小学生1-3-6年级女童双肩背包护脊减负
   9	134.00  	诺狐婴幼儿园书包男女宝宝1-3-6岁防走失背包儿童书包卡通童包
  10	365.00  	unme台湾书包小学生男女1-3-6年级6-12周岁双肩护脊减负儿童书包
  11	225.00  	台湾unme书包小学生1-2-3年级男女6-12岁双肩儿童书包轻减负背包
  12	119.00  	巴朗新款商务双肩包休闲时尚潮流大学生书包15.6寸电脑包男士背包
  13	159.00  	卡拉羊双肩包男书包中学生女初中生高中生大容量时尚潮流韩版背包
  14	35.00   	小学生书包女1-2-3-6一年级儿童书包女孩女生女童减负护脊双肩包5
  15	59.00   	小学生书包男童1-3-4年级双肩男孩6-12周岁轻便防水男生儿童书包
  16	99.00   	uek幼儿园书包男女孩宝宝1-3-6岁可爱小书包女童潮双肩儿童背包
  17	199.00  	uek书包小学生男女1-3年级儿童书包6-10周岁恐龙轻便休闲双肩背包
  18	159.00  	uek小学生书包男童1-3一年级女儿童书包6-12岁幼儿园休闲双肩背包
  19	139.00  	uek小学生书包男孩女生1-3-6年级护脊双肩背包8-12岁轻便儿童书包
  20	159.00  	卡拉羊双肩包男书包中学生时尚潮流女初中生高中生大容量韩版背包
  21	29.90   	书包男时尚潮流初中高中学生青少年背包双肩包小学生韩版个性街头
  22	168.00  	迪士尼幼儿园书包小学生儿童背包男1-3-4-5岁女宝宝小双肩包米奇
  23	53.80   	商务背包男士双肩包韩版潮流旅行包休闲女学生书包简约时尚电脑包
  24	139.00  	简约男士背包电脑双肩包男时尚潮流青年旅行大学生书包韩版大容量
  25	59.00   	双肩包时尚潮流初中学生书包高中大学生女休闲旅行电脑包背包男
  26	98.00   	迪士尼书包小学生男孩1-3-4-6年级美国队长8-10-12岁儿童背包
  27	199.00  	小米 米兔儿童书包男女孩小学生幼儿园6-12周岁减压护脊双肩背包
  28	129.00  	牧之逸双肩包男士休闲帆布包背包时尚潮流学生书包男电脑包旅行包
  29	86.00   	书包女韩版原宿ulzzang高中学生初中校园大容量小清新简约双肩包
  30	64.00   	书包小学生女童幼儿园儿童可爱 苏菲亚公主1-3年级3岁5女孩双肩包
  31	69.00   	双肩包女士2018新款韩版百搭潮背包包软皮休闲时尚旅行大容量书包
  32	88.00   	凯蒂猫hello kitty小学生书包女孩3-6-12周岁1-6年级公主背包减负
  33	759.00  	Beckmann小学生书包女男儿童护脊减压书包背包22L挪威进口1-3年级
  34	49.00   	休闲双肩包男韩版校园初中高中大学生书包时尚潮流学院风旅行背包
  35	69.00   	休闲双肩包韩版简约旅行背包电脑初中高中学生校园书包男时尚潮流
  36	69.00   	背包男士双肩包韩版青年电脑旅行校园初中高中学生书包男时尚潮流
  37	79.00   	书包女韩版原宿ulzzang 高中学生校园初中大容量双肩包女2018新款
  38	138.00  	Larkpad超轻便书包小学生书包男1-3-4-6年级儿童书包6-12周岁女孩
  39	59.00   	双肩包女2018新款潮韩版百搭时尚牛津布学生书包女士小背包女包包
  40	69.00   	双肩包女2018新款韩版潮流百搭时尚迷你书包女士软皮小背包女包包
  41	58.00   	小学生书包1-3-5-4-6年级男女生耐磨减负护脊防水儿童双肩包男孩
  42	116.00  	双肩包男韩版简约时尚潮流背包男休闲旅行迷彩高中生大学生书包男
  43	79.00   	罗布奥特曼书包小学生男6-12周岁儿童1-3-4-6年级双肩背包幼儿园
  44	139.00  	双肩包男大容量背包旅行商务电脑包男士时尚潮流休闲初中学生书包
>>>