Python爬虫基础教程（27）Python Scrapy爬虫实战：天气预报之数据存储到json：爬虫小白福音！Scrapy偷天换日，把天气预报塞进JSON的奇妙冒险

还记得那些年，我们对着天气网站手动记录温度的日子吗？哈，开玩笑的！这都2024年了，咱们早该让Python爬虫来干这活儿了。今天，我就带你用Scrapy这个神器，把天气预报数据爬下来，妥妥地塞进JSON文件里。

为什么要选Scrapy？它比Requests香在哪？

很多新手会问：“我用Requests库加BeautifulSoup不也能爬数据吗，为啥要学Scrapy？”

问得好！这就好比问“我都能走路去北京了，为啥要坐高铁？” Requests确实能爬，但Scrapy是专为爬虫打造的框架，效率高了不止一个量级。

想象一下：Requests就像你手工从井里打水，一桶一桶来；Scrapy则是建了一套自来水系统，打开阀门就源源不断。它内置了异步处理、自动限速、中间件管道，还能轻松应对反爬机制。最重要的是——数据导出超级方便，JSON、CSV、数据库，随你高兴。

环境准备：别在这步翻车！

在开始写代码前，确保你的Python环境已经准备好了。我建议使用Python 3.7或以上版本，兼容性最好。

安装Scrapy很简单，就一行命令：

pip install scrapy

但这里有个隐藏坑点：如果你用的是Windows系统，可能会遇到Twisted安装失败。别慌，先去https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载对应版本的Twisted，手动安装后再pip install scrapy就行了。

验证安装是否成功：

scrapy version

看到版本号就说明搞定啦！

创建你的第一个Scrapy项目：从起名开始

咱们给项目起个霸气的名字——weather_warrior（天气战士），听起来就很厉害对不对？

打开命令行，创建项目：

scrapy startproject weather_warrior

这时候Scrapy会自动生成一堆文件，别被吓到，其实常用的就那几个：

• spiders/ - 这里放你的爬虫代码
• items.py - 定义你要爬取的数据结构