python2.7爬虫实现淘宝指定商品信息输出到excel中进行比价

本文链接：https://blog.youkuaiyun.com/qq_32670879/article/details/81903101

本文介绍如何使用Python2.7编写爬虫，从淘宝网站抓取指定商品的价格、评价等关键信息，并将数据整理成Excel表格，便于进行比价和市场分析。通过requests库获取网页内容，BeautifulSoup解析HTML，pandas处理数据并导出到Excel。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#encoding=utf-8
import requests
import re
from bs4 import BeautifulSoup
import json
import xlwt
import xlrd

DATA= []

goods = raw_input('请输入您想要进行比价的商品名称（如：果冻包）\n>>>')

#获取第一个页面的所有与python有关的数据信息
# url = 'https://s.taobao.com/search?q=python'
url = 'https://s.taobao.com/search?q={}&bcoffset=6&ntoffset=6&p4ppushleft=1%2C48&s=0'.format(goods)
r = requests.get(url, timeout = 30)
#获取html页面
html = r.text
#获取json数据
content = re.findall(r'g_page_config = (.+?)g_srp_loadCss', html, re.S)[0].strip()[:-1]
# 格式化json数据
content = json.loads(content)
#信息列表
dataList = content['mods']['itemlist']['data']['auctions']
#提取数据
for item in dataList:
    temp = {
        'raw_title': item['raw_title'],
        'view_price': item['view_price'],
        'view_sales': item['view_sales'],
        'view_fee': '否' if float(item['view_fee']) else '是',
        'isTmall': '是' if item['shopcard']['isTmall'] else '否',
        'view_loc': item['item_loc'],
        'name': item['nick'],
        'detail_url': item['detail_url']
    }
    DATA.append(temp)
# print len(DATA)

#cookie保持
cookies = r.cookies
#获取剩余的12条数据
url2 = 'https://s.taobao.com/api?_ksTS=1531540228441_814&callback=jsonp815&ajax=true&m=customized&q={}&ntoffset=9&p4ppushleft=1,48&s=36&bc