Python爬虫天气预报（小白入门）

最新推荐文章于 2025-04-22 22:59:26 发布
最新推荐文章于 2025-04-22 22:59:26 发布
阅读量4.1k 收藏 18
点赞数 6
CC 4.0 BY-SA版权
分类专栏： python开发 文章标签： python 编码 数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/python233/article/details/72824964
本文介绍了如何使用Python爬取中国天气网的历史天气数据。通过分析网络请求，发现数据以JSON格式返回，利用Python的requests和json库轻松获取和解析数据，并存储到MongoDB中。整个过程涉及请求头的设置、URL参数解析和数据提取。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这次要爬的站点是这个：http://www.weather.com.cn/forecast/
要求是把你所在城市过去一年的历史数据爬出来。

分析网站

首先来到目标数据的网页 http://www.weather.com.cn/weather40d/101280701.shtml


中国天气网

我们可以看到，我们需要的天气数据都是放在图表上的，在切换月份的时候，发现只有部分页面刷新了，就是天气数据的那块，而URL没有变化。

这是因为网页前端使用了JS异步加载的技术，更新时不用加载整个页面，从而提升了网页的加载速度。

对于这种非静态页面，我们在请求数据时，就不能简单的通过替换URL来请求不同的页面。
着眼点要放在Network，观察整个请求的过程，从中寻找突破口。

老规矩按下F12 > network，切换下页面，发现多了一些东西，这就是切换月份，浏览器发出的请求，可以很清楚的看到请求头和请求参数。


JS请求
最低0.47元/天 解锁文章
idea中springboot@SpringBootApplication爆红
sdzhangshulong的博客
08-20 9629
1.查看settting中maven中选择的maven,还有配置文件,仓库地址是否正确 2.查看jdk配置是否正确 3.删除.idea文件夹 4.在pom上右键reimport或者mvn clean compile
idea新建一个springboot项目
m0_74823595的博客
02-10 1281
实现效果：首先先下载，通用代码把这3个文件放到项目下：效果这样然后添加一些依赖，修改下pom.xml文件其中如果自己要打包，部署的话，这个需要注释掉借鉴下：4.0.0jybackendjybackend<goals></goals></plugin></plugins></build>-- 是否开启发布版构件下载 --><releases>-- 是否开启快照版构件下载 -->然后修改下启动主程序：1.在class 类上添加注解。
maven没问题，但@SpringBootApplication爆红
weixin_44437397的博客
09-08 1967
启动类@SpringBootApplication注解爆红解决方案
SpringBoot注解@SpringApplicationConfiguration()报错
小影
07-20 2644
今日在用到@SpringApplicationConfiguration()注解时，一直引用不了 UserRepositoryTests类代码 package com.neo.SpringBoot.repository; import java.text.DateFormat; import java.util.Date; import org.junit.Assert; import o...
idea打开SpringBoot项目部署，pom包没报错，但是导包爆红解决办法
AGLQYP的博客
04-22 881
第一步：检查maven配置是否有问题，查看maven本地仓库以及maven是否放在不带空格，中文的文件目录下（我的就是因为在本地仓库的名字不小心敲了一下空格）建议多仔细检查每个目录，如果像我一下多敲了一个空格删除后记得修改setting.xml文件的maven本地仓库文件配置。如果不能解决尝试更新idea版本或者降低一下maven的版本并重新配置maven（可能是idea版本过低存在bug或无法识别高版本maven版本的），更换maven后建议重复上诉步骤，如果解决不了可以参考以下连接的其他解决办法。
idea的springboot项目的SpringBootApplication注解是红色的因为什么
qq_33192454的博客
09-13 1万+
如果您尝试了以上方法仍然无法解决问题，建议仔细检查具体的错误信息，查看 IDEA 的日志或错误输出，以便更准确地定位问题的原因。注解是 Spring Boot 项目的核心注解之一，如果您的项目缺少相关的 Spring Boot 依赖，IDEA 将无法正确解析该注解，从而导致变为红色。如果您使用的是 Maven 或 Gradle 构建项目，可能是由于依赖没有正确下载或配置的问题导致的。检查您的 Maven 或 Gradle 配置文件，确保相关的 Spring Boot 依赖被正确添加到项目中。
idea中@SpringBootApplication报红
weixin_44198546的博客
09-21 4889
找半天才找到一个宝藏博主，里面列举了好多解决方案 转自： https://www.cnblogs.com/liaoxiaolao/p/10062516.html 以下原文： 网络上有很多种方法，比如有的方法是把repository删除，然后重新maven project； 有的是因为目录spring-boot-autoconfigure中很多个release版本，把所有的版本都删除，然后重新install。如下所示： 有的办法是在Intellij idea下 file—>Invalidate Ca
springboot 中启动类SpringApplication.run报错（红线）
m0_67393686的博客
04-08 2900
springboot 中启动类SpringApplication.run报错（红线） 方案一： 1.在项目的根目录下执行：mvn dependency:purge-local-repository 2.执行：mvnclean或mvnclean package -U -X -e 方案二： 如果是idea，重新引入项目，估计是把他搞坏了，引入项目的时候一定要选择项目根目录下的pom.xml，而且弹框的时候一定要选择一个新的项目（大致翻译的意思是重新建一个新的项目） ...
@SpringBootApplication报红
m0_48355676的博客
06-27 2906
无语子啊再springboot官网创建项目打开后，@SpringBootApplication一直报红，搞了几个小时原因是我的idea没有自动取下载导入jar包，解决方案是点击右边的maven，如果你的项目在里面，直接点complie，如果没有项目，就点+号，把你项目的pom.xml导进去，然后就可以complie了 ...
SpringApplication.run()爆红是什么情况
Kirihara_Yukiho的博客
04-16 2258
今天刚刚学习Springboot，跟着老师敲代码时，发现自己的SpringApplication.run();方法爆红，于是检查了自己的maven和pom文件，发现都没问题，最后发现问题是，红色箭头所指部分，当run方法爆红时，将自己的类名和后面的代码写入就不会爆红了，作为自己的踩的一个小坑分，分享一下。
intellij idea创建 springboot工程
11-20
以下是在IntelliJ IDEA中创建Spring Boot工程的步骤： ...在这个类中，可以使用@SpringBootApplication注解来标记这是一个Spring Boot应用，并在main方法中使用SpringApplication.run方法来启动应用。
怎么在IntelliJ IDEA创建springboot项目
最新发布
05-12
### 如何在 IntelliJ IDEA 中创建 Spring Boot 项目 #### 准备工作 为了顺利创建一个 Spring Boot 项目，在开始之前需要确认已经安装并配置好了以下环境： - **Java JDK**：确保本地已安装适合的 Java 版本。 - **...
解决IDEA中SpringBoot项目创建多个子模块时.properties/yaml/yml文件小绿叶图标异常问题
m0_46506372的博客
01-30 2866
SpringBoot项目子模块创建异常、.properties/yaml/yml 配置文件
BUG集01: SpringBoot启动类Application报红线
m0_58580098的博客
07-16 647
SpringBoot项目，Application主启动类名下报红线。则建基层目录，把启动类Application移入则可。检查启动类是否建立在java目录下，如果是。java.com.xxx包下。
# springboot 启动类红线报错：Cannot access org.springframework.context.ConfigurableApplicationContext
段子手168的博客
04-27 1353
# springboot 启动类红线报错：Cannot access org.springframework.context.ConfigurableApplicationContext
@SpringBootApplication 注解报红
m0_67393342的博客
08-13 1124
SpringBootApplication注解报红。
springboot 开发遇到@SpringBootApplication爆红
lmougang的博客
12-23 2万+
springboot 开发遇到@SpringBootApplication爆红在开发springboot的时候，使用注解@SpringBootApplication的时候报错。表现为红色 在开发springboot的时候，使用注解@SpringBootApplication的时候报错。表现为红色 第一步：检查自己maven安装目录（E:\java\springboot\apache-maven-3.3.9\conf）下的setting.xml文件是否配置好，需要添加以下配置 jdk-1.8 true 1
Springboot中启动类报红
qq_36777191的博客
07-16 5296
springboot 中启动类SpringApplication.run报错（红线） 方案一： 1.在项目的根目录下执行：mvn dependency:purge-local-repository 2.执行：mvnclean或mvnclean package -U -X -e 方案二： 如果是idea，重新引入项目，估计是把他搞坏了，引入项目的时候一定要选择项目根目录下的pom.xml，而且弹框的时候一定要选择一个新的项目（大致翻译的意思是重新建一个新的项目） ———————————————...
IDEA springboot “spring-boot-maven-plugin“报红问题的解决方法
热门推荐
qq_39635117的博客
07-31 4万+
初次写博客，如有不足之处，还请指教。 朋友说发帖不写项目环境的，都是耍流氓的。本人深以为然，版本的问题还是有影响的。下面进入正题。 项目环境：idea 2020.1、 Maven 3.6.3 、springboot 2.2.6 本人在创建springboot项目时spring-boot-maven-plugin飘红，导致项目启动后无法访问。 原因： maven没有刷新 Maven插件下载速度太慢，从国外的中央仓库下载。 解决思路： 1、到仓库中发现有这插件，然后clean install
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值