R-指定城市天气爬取

R语言获取最新气象气温数据 你可以选择一个合适的气象网站,确定数据抓取的URL地址和页面结构,然后使用`rvest`包的函数(如`read_html()`、`html_nodes()`、`html_table()`等)来解析和提取所需数据。一旦获得了研究区内的气温数据,可以使用R中的绘图包(如`ggplot2`、`leaflet`等)创建适合的可视化图表。使用R中的空间分析和地理信息系统包(如`sf`、`sp`、`rgdal`等)加载边界数据和气温数据,并进行空间连接或裁剪,以提取研究区内的数据。# 设置要爬取的气象网站的URL。 阅读详情

业务需求:爬取指定城市天气

操作:基于R语言和sql server数据库存储,目前仍未使用网页展示

爬取结果示例:

 

R源码:

# install.packages("rvest")
library(rvest)
# 第一步:定义几个函数
# 定义读取城市URL地址
city.urls<-c("http://www.weather.com.cn/weather/101190101.shtml",
             "http://www.weather.com.cn/weather/101190601.shtml",
             "http://www.weather.com.cn/weather/101190401.shtml",
             "http://www.weather.com.cn/weather/101190301.shtml",
             "http://www.weather.com.cn/weather/101190201.shtml",
             "http://www.weather.com.cn/weather/101191101.shtml",
             "http://www.weather.com.cn/weather/101191201.shtml",
             "http://www.weather.com.cn/weather/101190501.shtml",
             "http://www.weather.com.cn/weather/101190701.shtml",
             "http://www.weather.com.cn/weather/101190901.shtml",
             "http://www.weather.com.cn/weather/101191301.shtml",
             "http://www.weather.com.cn/weather/101190801.shtml",
             "http://www.weather.com.cn/weather/101191001.shtml",
             "http://www.weather.com.cn/weather/101220101.shtml",
             "http://www.weather.com.cn/weather/101221101.shtml",
             "http://www.weather.com.cn/weather/101220601.shtml",
             "http://www.weather.com.cn/weather/101220201.shtml",
             "http://www.weather.com.cn/weather/101220401.shtml",
             "http://www.weather.com.cn/weather/101221201.shtml",
             "http://www.weather.com.cn/weather/101221501.shtml",
             "http://www.weather.com.cn/weather/101220501.shtml",
             "http://www.weather.com.cn/weather/101220301.shtml",
             "http://www.weather.com.cn/weather/101221301.shtml",
             "http://www.weather.com.cn/weather/101221401.shtml",
             "http://www.weather.com.cn/weather/101210101.shtml",
             "http://www.weather.com.cn/weather/101210401.shtml",
             "http://www.weather.com.cn/weather/101211101.shtml",
             "http://www.weather.com.cn/weather/101210507.shtml",
             "http://www.weather.com.cn/weather/101210901.shtml",
             "http://www.weather.com.cn/weather/101210201.shtml",
             "http://www.weather.com.cn/weather/101180101.shtml",
             "http://www.weather.com.cn/weather/101181501.shtml",
             "http://www.weather.com.cn/weather/101181101.shtml",
             "http://www.weather.com.cn/weather/101270101.shtml",
             "http://www.weather.com.cn/weather/101290101.shtml")
             # 定义爬取单个城市天气数据函数
             read.weather<-function(city.url){
               web<-read_html(city.url,encoding = "utf8")
               city<-web%>%
                 html_nodes("div")%>%
                 html_nodes("div")%>%
                 html_nodes("div")%>%
                 html_nodes("div.crumbs.fl")%>%
                 html_nodes("a")%>%
                 html_text()
               city<-paste(city[1],city[2],sep = "")
               weather<-web%>%
                 html_nodes("div")%>%
                 html_nodes("ul.t.clearfix")%>%
                 html_nodes("li")%>%
                 html_text()%>%
                 strsplit(split="[\n]+")%>%
                 as.data.frame(fix.empty.names = FALSE,row.names=c("无","date","weather","temperature","wind"))%>%
                 t()
               weather<-weather[,c(-1,-2)]
               date<-c(Sys.Date(),Sys.Date()+1,Sys.Date()+2,Sys.Date()+3,Sys.Date()+4,Sys.Date()+5,Sys.Date()+6)
               weather<-data.frame(city,date,weather)
               return(weather)
             }
             # 定义爬取国内所有城市天气数据
             rbind.weather<-function(city.urls){
               for(city.url in city.urls){
                 if(!exists("weathers")){
                   weathers<-read.weather(city.url)
                 }else{
                   weather0<-read.weather(city.url)
                   weathers<-rbind(weathers,weather0)
                 }
               }
               return(weathers)
             }
             #第三步:爬取实时天气数据**
             # 开始爬取各城市天气数据
             weathers<-rbind.weather(city.urls)
             #write.csv(weathers,"allcity_weathers_7days.csv",row.names=F)
#将网上抓取结果存储在数据库中
#连接数据库testdb
library(RODBC)
#odbcDataSources()#列出可用的odbc连接
  channel <- odbcConnect("yyy", uid="sa", pwd="Passw0rd")#建立连接
#da<-sqlQuery(channel,"select top 2 * from dbo.Persons")#一个简单的SQL查询语句,结果将保存到data.frame类型的变量ba中
#将结果保存在在weather表中
  sqlSave(channel, weathers, tablename = "weather", append = TRUE,rownames = FALSE, colnames = FALSE,  safer = TRUE)
#关闭odbc数据源链接
  close(channel)

 

R语言某一年各省各月份天气数据爬取 因为项目需要,在此,本人用R语言对某一年各省的省会各月份天气数据进行爬取。想爬取其他城市的数据也是大同小异。本次爬取的天气数据包括”日期”,”天气状况”,”气温”,”风力风向”四个指标 阅读详情

相关推荐

R语言rvest包3步爬取中国天气网国内所有城市(县)7天实时天气预报数据

接上一篇用R语言爬取中国天气网单个城市的7天实时天气数据,这篇文章综合一下,使用R语言rvest包3步爬取中国天气网国内所有城市(县)7天实时天气数据,这里的步数跨度可能有点长,但思路确实是3步哦,建议先看下上一篇文章,这边可能就比较容易理解了。 本文章的例子仅用于学习之用,如涉及版权隐私信息,请联系本人删除,谢谢 # install.packages("rvest") library(rvest)

gtxing的博客 5914

手把手教你使用R语言爬虫在气象网站抓取气象数据并分析绘制热力日历图(1)

我们做临床研究常见的烦恼为没有好的数据,目前气象网站上有很多关于气象因素和空气质量数据,但是没有系统的整理和格式等问题,我们使用起来非常不方便,而且很费时间,我们可以使用R语言爬虫工具对网站上的数据进行抓取,然后对数据进行整合,最后进行分析,达到事半功倍的效果,先申明一下,爬取工具不是病毒,原理我就不废话这么多了,主要是对实际操作进行讲解。 今天我们要爬取的网站是PM2.5网,为什么选这个网站,因为它上面没有反爬虫的措施,比较好抓取数据,我试了一下几乎大部分类似的R包都可以抓取数据,非常适合新手练手。 网

dege857的博客 4924

R语言爬取中国天气网单个城市实时天气预报数据

在传统零售行业,雨天天气大概会影响晴天30%-40%的销售业绩,所以从网上获取天气数据来作分析,并根据天气数据作出预测,提前做好预防措施和提醒业务人员,把损失减少到最低就显得十分重要,用R语言的rvest包就可以方便抓取天气数据: 本文章的例子仅用于学习之用,如涉及版权隐私信息,请联系本人删除,谢谢# install.packages("rvest") library(rvest) url<-"h

gtxing的博客 5041

气象数据获取竟如此简单2——R语言篇

虽然 Python 社区中有像 meteostat 这样的强大工具来简化气象数据的获取,但对于更熟悉 R 语言的用户,也可以通过调用 Meteostat 的 API 来高效地获取和处理这些数据。R 语言同样拥有丰富的工具支持数据获取、清理和可视化,使其成为科学研究和数据分析的首选语言之一。 本文将介绍如何使用 R 语言获取和可视化气象数据,并展示简单的代码示例,帮助用户快速上手。

m0_38065162的博客 775

用R语言抓取历史天气数据

用R语言抓取历史天气数据 中国城市历史数据网保存有从2011年1月1日起的历史数据,包括天气、高低温以及风向和风力,对于需要分析气象数据又苦于无法得到数据的研究人员,爬取数据不失为一个办法中的办法。但是网上爬取数据的又多为Python,用R语言的较少,可能和R的爬取能力较弱有关吧。对于习惯了R的人,还是需要一个用R编写的爬虫踏实些。。。下面就为大家送上相应的R代码。 需要爬取的网状是这样的:: h...

subtransient的博客 2445

python 爬取城市空气质量数据

[python]爬虫爬取中国城市的空气质量数据 利用python的selenium库,爬取城市的空气质量指标

RonaldDun的博客 8295

爬取中国天气

中国天气网爬取之华北城市数据爬取 import requests from bs4 import BeautifulSoup def parser_page(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like G...

henusyb的博客 748

scrapy实例:爬取中国天气网

1.创建项目 在你存放项目的目录下,按shift+鼠标右键打开命令行,输入命令创建项目: PS F:\ScrapyProject> scrapy startproject weather # weather是项目名称 回车即创建成功 这个命令其实创建了一个文件夹而已,里面包含了框架规定的文件和子文件夹. 我们要做的就是编辑其中的一部分文件即可. 其实sc...

weixin_30606669的博客 1407

如何用python爬取天气预报,python爬虫爬取天气预报

本项目包括四个核心部分:数据爬取、数据存储、数据分析和数据可视化python画四瓣花。首先,利用Python编写的网络爬虫从专业的历史天气网站上爬取大连市从2011年至2023年的天气数据,包括日期、最高气温、最低气温和天气状况等信息。爬取过程中应用了requests库来模拟浏览器请求和lxml库来解析HTML文档,确保了数据的准确性和完整性。接着,将爬取到的数据存储在两个CSV文件中,并利用pymysql库将数据导入MySQL数据库,便于后续的数据处理和分析。

Rtee1的博客 1443

城市天气分析:将csv文件读入HTML代码以可视化此特定天气数据

城市天气分析 在此数据集中分析了多个城市,并用于比较不同的天气情况。 温度,湿度,阴天和风速是四个关系数据点。

使用scrapy爬取全国所有城市的天气信息

使用scrapy爬取全国所有城市的天气信息,爬取的是中国天气网的信息。

python 爬取指定城市得近几年天气情况 并做可视化展示(附代码)

# 前言 ### 需要准备环境 python 3.9 pycharm 2021 ### 模块使用 re, csv -- 内部模块,不需要安装 requests, bs4, pandas, matplotlib -- 第三方库,win + R 输入cmd 打开命令窗口 输入安装命令 pip install 模块名 # 分析网站 [查看全国各地得历史天气](http://www.tianqihoubao.com/lishi/) 点击任意城市,因为我在武汉,这里以

pythonuser1的博客 1847

使用requests爬取高德地图国内所有城市的天气情况

文章目录项目分析基础较好可直接看代码 项目分析 1.打开谷歌游览器,输入网址:高德地图 2.键盘按F12进入开发者调试模式,点击Network,选择XHR也就是js发起的异步加载请求获取的网页数据。这样有利于我们快速找到城市天气接口。 3.如上图所示,我们找到了这个叫weather?adcode=610900的文件,这个weather就是天气,那么这个后面这个adcode这个参数我们还不得而知。我们先看看这个文件里面的内容把! 4.这不就是我们要找的吗,但是发现这个文件只有一个城市,那么是不是跟adcode有关呢,我们再去翻翻别的文件查看一下。 5.找到这个文件发现,这个adocde是一

爬取历史天气数据

整体思路 我们进入天气网首页:http://lishi.tianqi.com/,选择想要查询的城市和月份,以北京2019年10月历史天气为例,注意链接地址的含义:http://lishi.tianqi.com/beijing/201709.html链接中的beijing代表地区,201709代表时间。也就是说我们可以通过控制这两个参数,跳转到任意地区和时间的历史天气状况页面。滚动页面,可以找到我们...

weixin_40262196的博客 3124

新能源知识库(98)SOC曲线介绍

​:一条异常的健康SOC曲线,往往能提前反映出电池性能的衰退或系统存在的隐患。BMS和EMS通过实时跟踪SOC值,能在电池电量过高(如>95%)时停止充电,电量过低(如<20%)时停止放电,从而避免因过度充放电引发的。​:OCV-SOC曲线上较为平坦的部分(例如,磷酸铁锂电池通常在20%-80% SOC范围)。​:在光伏、储能、电网协同的系统中,SOC曲线是能量调度的核心依据。​:电池的寿命很大程度上取决于它的工作方式。​:利用电池静置后电压与SOC的对应关系来估算,较准确但需要电池静置,无法实时使用。

竹君子之家 926

LTC3783 LED驱动控制器设计与效率优化详解

开关电源控制器是现代LED照明的核心器件,通过电流模式控制实现高效能量转换。其核心原理是通过采样电阻检测负载电流,配合误差放大器形成闭环调节,在汽车电子、显示背光等场景中确保±3%的电流精度。LTC3783作为典型代表,集成升压/降压-升压多拓扑支持,配合PWM调光技术可实现3000:1的无色偏调光范围。在工程实践中,需重点考量功率电感选型、MOSFET开关损耗与热管理设计,例如在38W功率方案中采用10μH/5A电感和4.5mΩ MOSFET可达成95%效率。该方案特别适用于需要应对9-36V宽输入电压波

weixin_36231030的博客 401

Scrapy实例:爬取中国天气网天气数据

1.创建项目 在你存放项目的目录下,按shift+鼠标右键打开命令行,输入命令创建项目: PS F:\ScrapyProject> scrapy startproject weather # weather是项目名称 回车即创建成功 这个命令其实创建了一个文件夹而已,里面包含了框架规定的文件和子文件夹. 我们要做的就是编辑其中的一部分文件即可. 其实scrapy构建爬...

qq_35284431的博客 5155

雪莉果的Axure原型工厂vol.006 中继器应用(二)——多选穿梭框

如果你用axure有一段时间了,那么你很快就能琢磨出一个大体设计流程,比如加一个中间过度的元件,来储存需要穿梭的内容;但是如果你再想一想,就会发现,这样做,似乎只能解决单选,那么多选需要怎么操作呢? 这时候,中继器就会告诉你,我还能做的更多。

weixin_43829792的博客 979

【爬虫实战】——Python爬取天气信息

该篇将进行城市天气信息爬取实战,主要涉及到网页url解析、正则表达匹配等技术,可用作网页爬虫练手项目。

jd1813346972的博客 8128

RK3568/RK3588 + YT 9215交换机芯片,MAC TO MAC 调试记录

原来的方案是rk3568 gmac 直接接phy,phy 接 switch 芯片,只是把交换芯片当交换用,驱动方面基本不用开发,但是要做vlan 那么必须涉及交换芯片的开发。选择裕太微有两个方面的原因:1.国产化替代2.可获得原厂技术支持3.目前已经完成 两个gmac 口交换芯片的配置,实现vlan,内部交换,两个光口可正常通信。

Nyiragongo的博客 1万+

2024阅读AOSP源码的正确打开姿势

在Android系统开发中,阅读AOSP(Android Open Source Project)源码是非常重要的环节。然而,如何构建一个优雅的阅读环境却是一个不容忽视的问题。本文将介绍不同工具和方法下阅读AOSP源码的正确姿势,并对比其优缺点。

虎哥LoveDroid 2714

R语音 rvest爬取中国天气网所有城市未来七天天气数据并写入oracle数据库

本文使用R语音 rvest爬取中国天气网所有城市未来七天天气数据并写入oracle数据库,其中包括了如何使用R语言连接oracle数据库,以及爬取时候的简单策略,最后对爬取到的数据组装成数据框并写入数据库,可以作为R语音初中级爱好者们很好的参考例子,当然这是我很久前写的代码,很多地方没有进行优化,比如使用了for循环,其实应该封装到函数中使用sapply来处理循环以提高效率。感兴趣的朋友想与我交流

yepeng2007fei的博客 1063

Linux 下安装 openjdk 17【详细步骤】

JDK17,安装教程。

甘蓝的专栏 7510

小白Python爬虫入门实例1.1——定向爬取30天城市天气数据

import requests from bs4 import BeautifulSoup def getHTML(url): try: r = requests.get(url,timeout = 30) r.encoding = r.apparent_encoding r.raise_for_status() return r.text except: return "" def fillWeather.

m0_47105676的博客 1046

【AI大模型:前沿】44、大模型+机器人:从自动化工具到通用智能体的技术革命与应用全景

大模型与机器人的融合催生了“具身智能体”,突破传统机器人智能化缺失、功能单一等瓶颈。大模型赋予机器人三大能力:常识推理(如热牛奶需去包装)、模糊指令解析(如“整理书桌”拆解步骤)、零样本任务泛化(如搭乐高桥)。技术实现上,通过多模态融合(视觉-语言-动作)、仿真训练(虚拟试错)和实时反馈(动态调整动作)形成闭环。主流框架如Google RT-2(端到端动作生成)、斯坦福Q-Transformer(强化学习优化)和Figure 01(ChatGPT驱动人形机器人)各具优势,可适配工业、家庭等场景。该技术正重塑

2025博客之星Top81。专注AI工程化与架构实战。从分布式思维到模型部署,用工程化视角为你厘清AI落地的真实路径。 2022

寻路最终版哦

相信大家用unity3d寻路的时候,一定会碰到多人

yxriyin的专栏 6956
下一篇: 2.1.4Matlab常用函数
Arron_yuan
博客等级 码龄12年 11粉丝 24原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值