以爬取聚划算的商品信息为例,爬取商品的名称、价格和销量,并对数据进行处理可视化分析。
一共分为两个过程:
1、利用scrapy框架对数据的爬取
2、把爬取到的数据进行处理分析
网站: 聚划算(https://ju.taobao.com)
知识点:scrapy、xpath、numpy、matplotlib、pandas
一、scrapy框架爬取信息
import scrapy
from scrapy import Request
class ShortSpider(scrapy.Spider):
name = 'short'
allowed_domains = ['ju.taobao.com']
start_urls = ['https://ju.taobao.com/search.htm?spm=608.6895169.890.9.67d62bafEswJaK&words=t%D0%F4&stype=psort&reverse=down&page=100']
def parse(self, response):
title = response.xpath('//ul[@class="clearfix"]//h3/@title').getall()
price = response.xpath('//ul[@class="clearfix"]//div[@class="price"]//em[@class="J_actPrice"]/span[1]/text()').getall()
sold_num = response.xpath('//ul[@class="clearfix"]//div[@class="sold-num"]/em/text()').getall()
for item in zip(title, price, sold_num):
yield {
"title": item[0],
"price": item[1],