5.4 Scrapy爬虫实战之天气信息

本文通过Scrapy框架,详细介绍了如何创建并配置一个新的爬虫项目,用于抓取北京的一周天气预报。从启动新项目,新建爬虫文件,定义Item,编写Spider,设置Pipelines,到调整Settings,最后运行爬虫获取数据,整个过程一气呵成。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.切换到工程文件夹,利用scrapy startproject weather命令新加你一个scrapy工程;

D:\>cd D:\Python\ScrapyProject

D:\Python\ScrapyProject>scrapy startproject weather
New Scrapy project 'weather', using template directory 'd:\\python\\lib\\site-packages\\scrapy\\templates\\project', created in:
    D:\Python\ScrapyProject\weather

You can start your first spider with:
    cd weather
    scrapy genspider example example.com

2.将目录切换到weather目录下,使用命令scrapy genspider beiJingSpider 新建一个爬虫文件这里爬取北京一周天气,网址如下:

D:\Python\ScrapyProject>cd weather

D:\Python\ScrapyProject\weather>scrapy genspider beiJingSpider http://www.weather.com.cn/weather/101010100.shtml
Created spider 'beiJingSpider' using template 'basic' in module:
  weather.spiders.beiJingSpider

3.修改item.py
修改后的文件内容如下:

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class WeatherItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    cityDate = scrapy.Field()
    week = scrapy.Field()
    img = scrapy.Field()
    temperatu
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值