Python scrapy框架获取数据以及对数据进行可视化

以爬取聚划算的商品信息为例,爬取商品的名称、价格和销量,并对数据进行处理可视化分析。
一共分为两个过程:
1、利用scrapy框架对数据的爬取
2、把爬取到的数据进行处理分析

网站: 聚划算(https://ju.taobao.com)
知识点:scrapy、xpath、numpy、matplotlib、pandas

一、scrapy框架爬取信息

import scrapy

from scrapy import Request

class ShortSpider(scrapy.Spider):
    name = 'short'
    allowed_domains = ['ju.taobao.com']
    start_urls = ['https://ju.taobao.com/search.htm?spm=608.6895169.890.9.67d62bafEswJaK&words=t%D0%F4&stype=psort&reverse=down&page=100']

    def parse(self, response):
        title = response.xpath('//ul[@class="clearfix"]//h3/@title').getall()
        price = response.xpath('//ul[@class="clearfix"]//div[@class="price"]//em[@class="J_actPrice"]/span[1]/text()').getall()
        sold_num = response.xpath('//ul[@class="clearfix"]//div[@class="sold-num"]/em/text()').getall()

        for item in zip(title, price, sold_num):
            yield {
                "title": item[0],
                "price": item[1],
   
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值