爬取中国天气网获取全国城市编码并存入mysql数据库

最新推荐文章于 2025-04-27 16:01:45 发布
原创 最新推荐文章于 2025-04-27 16:01:45 发布 · 3.5k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python爬虫 #mysql #正则

本文记录了一个Python爬虫小示例，详细介绍了如何从中国天气网的文字版抓取全国城市编码，并将其存储到MySQL数据库中。通过分析网页结构，使用正则表达式提取数据，注意过滤掉重复的7天预测信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

简单的记录一个小demo，利用中国天气网文字版本获取全国城市编码并存入mysql数据库中。

分析

首先观察发现，中国天气网文字版按地区分成8个部分。
在这里插入图片描述
对应的url简单的用缩写表示：‘hb’, ‘db’, ‘hd’, ‘hz’, ‘hn’, ‘xb’, ‘xn’, ‘gat’

在这里插入图片描述在这里插入图片描述

检查网页源代码，查看标签情况，找到我们需要的城市编码。在这里插入图片描述
再折叠起来查看标签大体情况。
在这里插入图片描述
以华北为例，可以发现，其下总共有5个省/直辖市，分别是北京，天津，河北，

最低0.47元/天 解锁文章
中国天气网Android XmlPULL解析：通过城市名获取weatherCode
梦江月
02-16 2905
之前项目中使用和比较过多个天气API：百度天气，新浪天气，中国天气网等，返回值均为JSON数据格式。现在将中国天气网城市-天气对应表的解析过程贴上来，方便后来的小伙伴开发。本文指在使用中国天气网，通过三级省市名来获取查询天气需要的城市代码。 一、 小结： 1. 百度天气 　　与百度地图一样，需要申请自己的AK。有集成百度定位的正好可以使用。API地址为： URL=“http://api.map
全国各省市区城市编码SQL
热门推荐
在路上
01-17 4万+
在做开发的时候相信大家找省市区代码表会非常的蛋疼，在我做的几个App中都使用了地区，在网上找了很多的资源，然而不是这里有问题就是那里有问题，最近做项目的时候狠下心检查了一下，整理出以下内容，直接复制到mysql中执行即可。希望对大家有帮助。 # ************************************************************ # Sequel P
python3爬取天气数据存入mysql数据库
JiShun_Wang的博客
08-18 6189
爬虫的目的往往是为了获取数据，如果爬取的数据量较小可以用csv格式存储，但在数据量大的情况下可以考虑存入数据库，不仅保存方便，查询调用效率快。本篇博文的目的是为了展示如何将爬取的数据存入数据库。如果大家想学习更多的关于mysql数据库的知识请点击： MySQL学习。 本篇博客以爬取过去时间天气数据为例，将爬取到的数据存入到数据库。关键的两点是如何连接数据库以...
Python爬取天气数据实战：从入门到精通
最新发布
Python_trys的博客
04-27 702
在日常开发中，爬取天气数据是一个常见的需求，无论是为了个人项目还是商业应用。本文将详细介绍如何使用Python爬取天气数据，并保存为结构化格式。我们将以中国天气网为例，讲解完整的爬虫实现过程。我们以中国天气网（http://www.weather.com.cn）为例。BeautifulSoup4（解析HTML）requests库（发送HTTP请求）打开中国天气网，搜索目标城市（如北京）检查网页源代码，找到天气数据所在位置。3.1 获取网页内容。3.2 解析天气数据。5.2 添加异常处理。
全国城市邮编数据库 全国省市区邮编 全国城市邮编数据大全
vip_mcgrady的博客
09-06 1337
资源地址： https://download.youkuaiyun.com/download/vip_mcgrady/21907028 觉得好的支持一下
中国城市编码 sql mysql 数据库
09-25
中国城市编码 sql mysql 数据库 ，中国所有的城市编码，三级城市编码，数据库脚本 ，中国城市编码 sql mysql 数据库 ，中国所有的城市编码，三级城市编码，数据库脚本 ，中国城市编码 sql mysql 数据库 ，中国所有的城市编码，三级城市编码，数据库脚本
使用python爬取全国天气数据并导入MySQL数据库表
qq_40945375的博客
03-20 6178
1、使用MySQL数据库创建一个表 2、打开数据库连接，并使用cursor()建立一个游标对象：
jsoup爬取淘宝存入mysql_Java使用HttpClient和Jsoup爬取豆瓣小组的帖子并存入Mysql
weixin_33584986的博客
01-19 378
首先，确定要爬取的小组，本次以豆瓣的five组为例。因为是第一次用Java爬虫，所有采取了简答的暴力循环爬取的方法，以后有时间再继续改进。(不过也可能转到Python了)另外，本次尝试采用Spring boot开发。1、爬取所有的帖子的链接1.1、分析网页小组首页更多讨论，然后将地址栏的参数修改成0然后往后一直到最后，就是这个小组的全部帖子了，我们只需要将每一页的链接全部取出来，然后更新地址栏的s...
第一篇博客，使用python爬虫爬取当当网数据存入数据库中
weixin_43779803的博客
10-23 3205
爬取当当网的图书信息 了解思路 话不多说首先咱先看看网站就就是这个样子 我们需要获取到他的：书名，链接，价格，评论数并存到数据库中 网站链接：http://search.dangdang.com/?key=python&act=input&page_index=1 第一步：首先获取到整个网页的源码。 第二步：使用lxml模块获取到需要爬取的信息。 第三步：导入数据库模块pymysq...
python爬取百度音乐（二）——保存数据到mysql中
smallpizza的博客
08-20 2071
上篇博客只是爬取了网页上的数据并打印出来，但是在实际开发应用中，数据是要持久保存起来的，数据可以保存到关系型数据库如：mysql中或NoSQL数据库中如：mongodb 这篇博客是把数据保存到mysql数据库中采用的模块是pymysql，[使用方法]http://www.runoob.com/python3/python3-mysql.html 本程序的数据代码段:# 保存音乐信息到数据库中 d
城市表的sql文件(天气,pm2.5所用)
05-15
城市表的sql文件,如('101010100','beijing','北京','beijing','北京','China','中国','beijing','北京','39.904989','116.405285')
中国天气网 城市代码 sql语句
09-12
中国天气网 城市代码 sql语句
省市区三级城市代码数据库（2016最新）
07-28
2016年行政区域划分城市代码新版本，省市区三级联动的数据（最新省市区数据5047行）支持。
全国行政区省市区编码数据库脚本（含行政代码、邮编、区号）
03-28
全国行政区省市区编码数据库脚本（含行政代码、邮编、区号）
天气预报所有城市代码数据库（SQL）
11-12
天气预报所有城市代码数据库（SQL）,新建城市表city_code,字段：province 省,city市,area地区,city_code城市代码，直接在数据库工具里执行就可以生成数据.
2019城市编码表，级联sql
04-09
2019最新城市编码sql，Mysql数据库，直接导入表即可使用过，2019最新城市编码，需要的下载
中国天气网城市代码SQL
chuiji1442的博客
10-14 1306
DROP TABLE IF EXISTS `tag_weather_code`; CREATE TABLE `tag_weather_code` ( `id` bigint(20) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 'id', `code...
中国天气网城市代码 Map形式和mysql数据库脚本
u012138706的专栏
04-15 2441
Map map = new HashMap(); map.put("北京","101010100"); map.put("海淀","101010200"); map.put("朝阳","101010300"); map.put("顺义","101010400"); map.put("怀柔","101010500"); map.put("通州","101010600");
中国天气网城市-天气代码对应表
02-16
中国天气网城市-天气代码对应表
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值