用R语言抓取历史天气数据

用R语言抓取历史天气数据

中国城市历史数据网保存有从2011年1月1日起的历史数据，包括天气、高低温以及风向和风力，对于需要分析气象数据又苦于无法得到数据的研究人员，爬取数据不失为一个办法中的办法。但是网上爬取数据的又多为Python，用R语言的较少，可能和R的爬取能力较弱有关吧。但是对于习惯了R的人，还是需要一个用R编写的爬虫踏实些。。。下面就为大家送上相应的R代码。

需要爬取的网页是这样的：：

http://www.tianqihoubao.com/lishi/kangding/month/201707.html

从网页源代码可以看到每日天气数据是储存在"<td>"节点上的，而且每日之间间隔4个节点。

做好以上分析后，就可以爬取相应的数据，清洗后装载到一个数据框中，最后保存到csv文件中，完成数据爬取。

以下是相应的R程序。可以修改成自己需要爬取的城市、时间段以及保存的文件名。

#加载网页抓取程序包与数据清理程序包，报错需要安装相应的程序包
library(rvest)
library(plyr)
library(stringr)

#设定装载天气数据的数据包
tdata=data.frame()

#设定抓取的城市，这里设定为四川省康定市
city <- ‘kangding’

#设定抓取的年份，从11年一直到19年
y<-c(“11”,“12”,“13”,“14”,“15”,“16”,“17”,“18”,“19”)
#设定抓取的月份，共12个月
m<-c(“01”,“02”