爬取中国天气网获取全国城市编码并存入mysql数据库

最新推荐文章于 2021-09-06 12:25:39 发布
原创 最新推荐文章于 2021-09-06 12:25:39 发布 · 3.6k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python爬虫 #mysql #正则

本文记录了一个Python爬虫小示例，详细介绍了如何从中国天气网的文字版抓取全国城市编码，并将其存储到MySQL数据库中。通过分析网页结构，使用正则表达式提取数据，注意过滤掉重复的7天预测信息。

简单的记录一个小demo，利用中国天气网文字版本获取全国城市编码并存入mysql数据库中。

分析

首先观察发现，中国天气网文字版按地区分成8个部分。
在这里插入图片描述
对应的url简单的用缩写表示：‘hb’, ‘db’, ‘hd’, ‘hz’, ‘hn’, ‘xb’, ‘xn’, ‘gat’

在这里插入图片描述在这里插入图片描述

检查网页源代码，查看标签情况，找到我们需要的城市编码。在这里插入图片描述
再折叠起来查看标签大体情况。
在这里插入图片描述
以华北为例，可以发现，其下总共有5个省/直辖市，分别是北京，天津，河北，山西，内蒙古，在 div class=“conMidtab” 标签下，每一个省对应一个 div class=“conMidtab2” 标签。
展开：

最低0.47元/天 解锁文章
中国天气网Android XmlPULL解析：通过城市名获取weatherCode
梦江月
02-16 2964
之前项目中使用和比较过多个天气API：百度天气，新浪天气，中国天气网等，返回值均为JSON数据格式。现在将中国天气网城市-天气对应表的解析过程贴上来，方便后来的小伙伴开发。本文指在使用中国天气网，通过三级省市名来获取查询天气需要的城市代码。 一、 小结： 1. 百度天气 　　与百度地图一样，需要申请自己的AK。有集成百度定位的正好可以使用。API地址为： URL=“http://api.map
中国天气网数据爬取
hard_days的博客
11-27 3267
爬取中国天气网数据： 目标数据：地区名 最低气温，最高气温 存入cvs表中   知识点 一、开启多线程 class Queue.Queue(maxsize) FIFO 先进先出 Queue.qsize() 返回队列的大小 Queue.empty() 如果队列为空，返回True,反之False Queue.full() 如果队列满了，返回True,反之False Queue....
中国城市编码 sql mysql 数据库
09-25
中国城市编码 sql mysql 数据库 ，中国所有的城市编码，三级城市编码，数据库脚本 ，中国城市编码 sql mysql 数据库 ，中国所有的城市编码，三级城市编码，数据库脚本 ，中国城市编码 sql mysql 数据库 ，中国所有的城市编码，三级城市编码，数据库脚本
python3爬取天气数据存入mysql数据库
JiShun_Wang的博客
08-18 6263
爬虫的目的往往是为了获取数据，如果爬取的数据量较小可以用csv格式存储，但在数据量大的情况下可以考虑存入数据库，不仅保存方便，查询调用效率快。本篇博文的目的是为了展示如何将爬取的数据存入数据库。如果大家想学习更多的关于mysql数据库的知识请点击： MySQL学习。 本篇博客以爬取过去时间天气数据为例，将爬取到的数据存入到数据库。关键的两点是如何连接数据库以...
全国城市邮编数据库 全国省市区邮编 全国城市邮编数据大全
vip_mcgrady的博客
09-06 1406
资源地址： https://download.youkuaiyun.com/download/vip_mcgrady/21907028 觉得好的支持一下
使用python爬取全国天气数据并导入MySQL数据库表
qq_40945375的博客
03-20 6222
1、使用MySQL数据库创建一个表 2、打开数据库连接，并使用cursor()建立一个游标对象：
jsoup爬取淘宝存入mysql_Java使用HttpClient和Jsoup爬取豆瓣小组的帖子并存入Mysql
weixin_33584986的博客
01-19 396
首先，确定要爬取的小组，本次以豆瓣的five组为例。因为是第一次用Java爬虫，所有采取了简答的暴力循环爬取的方法，以后有时间再继续改进。(不过也可能转到Python了)另外，本次尝试采用Spring boot开发。1、爬取所有的帖子的链接1.1、分析网页小组首页更多讨论，然后将地址栏的参数修改成0然后往后一直到最后，就是这个小组的全部帖子了，我们只需要将每一页的链接全部取出来，然后更新地址栏的s...
我需要爬取豆瓣250电影的数据并转为csv文件，并存到MySQL数据库，用python，写的代码方便复制
最新发布
07-09
我们开始写代码：以下是用Python爬取豆瓣Top250电影数据、保存为CSV文件并存入MySQL数据库的完整代码： ```python import requests from bs4 import BeautifulSoup import csv import pymysql import time import ...
第一篇博客，使用python爬虫爬取当当网数据存入数据库中
weixin_43779803的博客
10-23 3231
爬取当当网的图书信息 了解思路 话不多说首先咱先看看网站就就是这个样子 我们需要获取到他的：书名，链接，价格，评论数并存到数据库中 网站链接：http://search.dangdang.com/?key=python&act=input&page_index=1 第一步：首先获取到整个网页的源码。 第二步：使用lxml模块获取到需要爬取的信息。 第三步：导入数据库模块pymysq...
全国各省市区城市编码SQL
热门推荐
在路上
01-17 4万+
在做开发的时候相信大家找省市区代码表会非常的蛋疼，在我做的几个App中都使用了地区，在网上找了很多的资源，然而不是这里有问题就是那里有问题，最近做项目的时候狠下心检查了一下，整理出以下内容，直接复制到mysql中执行即可。希望对大家有帮助。 # ************************************************************ # Sequel P
城市表的sql文件(天气,pm2.5所用)
05-15
城市表的sql文件,如('101010100','beijing','北京','beijing','北京','China','中国','beijing','北京','39.904989','116.405285')
中国天气网 城市代码 sql语句
09-12
中国天气网 城市代码 sql语句
省市区三级城市代码数据库（2016最新）
07-28
2016年行政区域划分城市代码新版本，省市区三级联动的数据（最新省市区数据5047行）支持。
全国行政区省市区编码数据库脚本（含行政代码、邮编、区号）
03-28
全国行政区省市区编码数据库脚本（含行政代码、邮编、区号）
天气预报所有城市代码数据库（SQL）
11-12
天气预报所有城市代码数据库（SQL）,新建城市表city_code,字段：province 省,city市,area地区,city_code城市代码，直接在数据库工具里执行就可以生成数据.
ionic省市县三级联动
Eric's Blog
11-25 5715
ionic开发移动app过程中地址选择部分涉及省市县三级联动 <!DOCTYPE html> <html ng-app="app"> <head> <meta charset="utf-8"> <title>copyright by leiflyy--leiflyy@outlook.com--</title> <script src="js/ionic.bundle.
中国天气网城市代码SQL
chuiji1442的博客
10-14 1431
DROP TABLE IF EXISTS `tag_weather_code`; CREATE TABLE `tag_weather_code` ( `id` bigint(20) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 'id', `code...
中国天气网城市代码 Map形式和mysql数据库脚本
u012138706的专栏
04-15 2456
Map map = new HashMap(); map.put("北京","101010100"); map.put("海淀","101010200"); map.put("朝阳","101010300"); map.put("顺义","101010400"); map.put("怀柔","101010500"); map.put("通州","101010600");
2019城市编码表，级联sql
04-09
2019最新城市编码sql，Mysql数据库，直接导入表即可使用过，2019最新城市编码，需要的下载
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值