Scrapy爬虫爬取天气数据存储为txt和json等多种格式

原创

于 2017-09-02 15:16:55 发布 · 6.1k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#数据存储 #爬虫 #json #python爬虫 #python

本文介绍如何利用Scrapy爬虫框架抓取天气信息，并将数据保存为txt和json格式，同时讲解了如何将数据存储到MySQL数据库。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、创建Scrrapy项目

scrapy startproject weather

二、创建爬虫文件

scrapy genspider wuhanSpider wuhan.tianqi.com

三、SCrapy项目各个文件

(1) items.py

import scrapy


class WeatherItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    cityDate = scrapy.Field()
    week = scrapy.Field()
    img = scrapy.Field()
    temperature = scrapy.Field()
    weather = scrapy.Field()
    wind = scrapy.Field()