5.4 Scrapy爬虫实战之天气信息

最新推荐文章于 2025-05-18 07:00:00 发布

原创

最新推荐文章于 2025-05-18 07:00:00 发布 · 530 阅读

1 ·

CC 4.0 BY-SA版权

本文通过Scrapy框架，详细介绍了如何创建并配置一个新的爬虫项目，用于抓取北京的一周天气预报。从启动新项目，新建爬虫文件，定义Item，编写Spider，设置Pipelines，到调整Settings，最后运行爬虫获取数据，整个过程一气呵成。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.切换到工程文件夹，利用scrapy startproject weather命令新加你一个scrapy工程；

D:\>cd D:\Python\ScrapyProject

D:\Python\ScrapyProject>scrapy startproject weather
New Scrapy project 'weather', using template directory 'd:\\python\\lib\\site-packages\\scrapy\\templates\\project', created in:
    D:\Python\ScrapyProject\weather

You can start your first spider with:
    cd weather
    scrapy genspider example example.com

2.将目录切换到weather目录下，使用命令scrapy genspider beiJingSpider 新建一个爬虫文件这里爬取北京一周天气，网址如下：

D:\Python\ScrapyProject>cd weather

D:\Python\ScrapyProject\weather>scrapy genspider beiJingSpider http://www.weather.com.cn/weather/101010100.shtml
Created spider 'beiJingSpider' using template 'basic' in module:
  weather.spiders.beiJingSpider

3.修改item.py
修改后的文件内容如下：

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class WeatherItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    cityDate = scrapy.Field()
    week = scrapy.Field()
    img = scrapy.Field()
    temperatu