Python-Scrapy抓取中国空气质量全站数据-ChinaArea案例

最新推荐文章于 2024-05-27 23:33:30 发布
原创 最新推荐文章于 2024-05-27 23:33:30 发布 · 1.4k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何使用Scrapy和selenium抓取中国各城市空气质量指数的日历史数据。首先分析了网页结构，发现除了第一个静态页面外，其他页面需要动态抓取。接着，详细阐述了抓取思路及代码实现，包括items.py、spider.py、middlewares.py、pipelines.py和settings.py的设置。最后展示了抓取过程和结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本节知识点主要是Scrapy对接selenium

目标抓取每个城市空气质量指数日历史数据

  1. 分析网页数据结构
    1.1. 一级域名页面
    一级域名页面
    1.2. 爬虫起始页面
    抓取起始页面
    1.3. 从上图随便点个城市链接进去，找到月份链接
    白城的空气质量不咋滴
    1.4. 这是我们需要抓取的数据字段 加上城市的字段一共有十个了.
    找到我们需要爬取的数据字段

  2. 分析网页数据格式
    2.1. 第一个页面为静态
    第一个页面
    静态页面

2.2. 第二个页面为动态页面
第二个页面

最低0.47元/天 解锁文章

200万优质内容无限畅学
使用scrapy爬取全国所有城市的天气信息
01-09
使用scrapy爬取全国所有城市的天气信息，爬取的是中国天气网的信息。
Python爬取国家数据中心环境数据（全国城市空气质量小时报）并导入csv文件
临冬城码农的博客
08-07 1万+
1.开发环境:      python 3.5   + fiddler 4 （抓包工具）+ 火狐浏览器 + idea 2.分析要爬取的页面 2.1  首页  数据中心  点击 全国城市空气质量小时报   查看 fiddler4                     表格中的内容就是要抓取的对象            分析fiddler 4 看出请求的方式 请求参数 以及 返回的响应...
python爬取空气质量_python爬取全国空气质量信息
weixin_39954569的博客
12-17 1825
主要模块requests模块。使用requests模块来获取http响应gevent模块。使用gevent开启多个协程，加快爬取速度re模块或beautifulsoup模块。正则表达式解析与beautifulsoup解析两种解析方式我都会写出来。csv模块。用于将数据导出至csv文件内分析过程1.要爬取的页面的URL地址为：http://www.tianqihoubao.com/aqi/。首先访问...
使用Python批量提取指定的站点空气质量数据
qq_38887171的博客
12-10 1715
对于我们下载的多数数据集，我们可能需要提取其中指定的来使用，比如这个空气质量数据集，全国那么多站点，我只想要我研究的区域的站点数据，然而，当我打开文件夹的时候，失望了，因为这些数据都是一个一个的csv文件。有一个方法就是excel可以用脚本把这些单独的csv合并为一个csv，但可能伴随的问题就是数据超出excel的存储上限，so，我们换一种做法提取指定站点的数据。 这次实验用到的数据是全国2014-2020年的站点空气质量数据，每小时的分辨率的，截图看看长什么样子： 要是一个一个的打开去提取自己
Scrapy实战篇（五）之爬取历史天气数据
daxun0631的博客
02-12 439
　　本篇文章我们以抓取历史天气数据为例，简单说明数据抓取的两种方式： 　　1、一般简单或者较小量的数据需求，我们以requests(selenum)+beautiful的方式抓取数据 　　2、当我们需要的数据量较多时，建议采用scrapy框架进行数据采集，scrapy框架采用异步方式发起请求，数据抓取效率极高。 　　下面我们以http://www.tianqihouba...
Python-scrapy抓取链家网二手房成交数据
08-10
Python-scrapy是一个强大的框架，专为网络爬虫设计，用于高效、结构化地抓取大量网页数据。在本项目中，“Python-scrapy抓取链家网二手房成交数据”旨在利用Scrapy来收集链家网上关于二手房成交的具体信息，如房源...
Python-scrapy抓取糗事百科热门
08-10
Scrapy是一个用Python编写的开放源代码框架，专为数据抓取和数据处理而设计。它包含了一系列组件，如下载器、Spider、Item、Item Pipeline、Middleware等，这些组件协同工作，帮助我们高效地进行网络爬取。 2. **...
基于Python-Scrapy框架的闲鱼二手网站信息抓取
09-27
1. **Spiders**：是Scrapy的核心，负责定义如何抓取数据以及如何处理抓取到的数据。在这个项目中，我们需要创建一个Spider，设置其起始URL（通常是咸鱼的评论页面），并定义如何解析HTML页面，提取评论内容、用户名...
Python-Scrapy爬虫-案例应用
最新发布
02-20
通过本案例应用的学习，可以了解Scrapy框架的核心原理和实际应用，掌握如何使用Python开发高效稳定的数据爬虫，从而更好地在大数据时代中获取、分析和利用网络数据资源。无论是在学术研究还是商业应用中，Python-...
Python获取中国环境总站 CNEMC 采集的实时空气质量数据
05-23
Python获取中国环境总站 CNEMC 采集的实时空气质量数据 从中国环境总站采集空气质量六参数（逐小时更新） 数据发布说明里需注意的地方 监测点位1小时浓度平均值指该点位1小时内所测项目浓度的算术平均值或测量值，如16时的小时均值为15：00-16:00的算术平均值或测量值。 8小时滑动平均值是指当前小时前8小时内所测项目小时浓度的算术平均值。 发布结果通常为每小时更新1次，由于数据传输需要一定的时间，发布的数据约有半小时延滞，例如15时的监测数据在15:30左右发布。
爬取全国空气质量监测网代码.py
05-28
爬取空气质量检测网的部分城市的历年每天质量数据 思路----------------------------------------- 从某城市的空气质量网页获取某市每月的链接，再爬取每个月的表格数据。连云港市：https://www.aqistudy.cn/historydata/daydata.php?city=连云港 连云港2014年5月的空气质量：https://www.aqistudy.cn/historydata/daydata.php?city=连云港&month=2014-05 遇到的问题----------------------------------------- 获取的网页中的表格数据隐藏，尝试requests无法获取。判断可能是动态加载的网页 尝试----------------------------------------- 1. 通过XHR，js查找隐藏数据的加载网页，没有找到。 2. 使用phantomjs.get() result=pd.read_html ,可以获得隐藏的表格数据，但是并不稳定，只是偶尔出现加载的表格数据,无法大规模的获取 解决方法----------------------------------------- 查找资料得知这个网站的表格数据在Console里的items中， 使用selenium的webdriver.firefox(),driver.execute_script("return items") 数据可获得。 仍遇到的问题：----------------------------------------- 爬取一个网页可获得数据，但是连续的获取网页，会出现两个错误。 1.Message: ReferenceError: items is not defined 2.connection refused 解决方法： 1.connection refused问题,可能是网页开太多，使用driver.quit() 2. 如果 execute_script 还是出错，可尝试pd.read_html获取信息。之前用phantomjs获取的时候输出空的表格，可能由于加载不够，用 Waite直到table出现之后再获取网页 Element=wait.until(EC.element_to_be_clickable((By.XPATH,"/html/body/div[3]/div[1]/div[1]/table/tbody"))) 3.之后出现偶尔出现输出为空，使用循环，如果输出表格为空，再重新获取。 if len(result)>1: filename = str(month) + '.xls' result.to_excel('E:\python\案例程序\data\\' + filename) print('成功存入'+filename) driver.quit() else: driver.quit() return getdata(monthhref,month)
爬取多城市空气质量数据
1234567
10-31 1577
数据抓取 url = 'http://tianqihoubao.com/aqi/beijing-201909.html' import requests from bs4 import BeautifulSoup import pandas as pd headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) ...
python爬虫之静态网页——全国空气质量指数(AQI)爬取
HGS的博客
06-11 1万+
首先爬取地址：http://www.air-level.com/ 利用的python库，最近最流行的requests，BeautifulSoup。 requests：用于下载html BeautifulSoup：用于解析 下面开始分析：要获取所有城市的aqi，就要进入每个城市的单独链接，而这些链接可以从主页中获取 打开主网页，查看源代码，可以看到，所有的城市链接都在id=‘cityl...
python爬空气污染实时数据_一键爬取空气质量相关指数
weixin_39609650的博客
12-01 1985
刚刚入门python，想上手一些比较简单的爬虫项目。今天我们来爬一爬一个空气质量指数的网站来获取全国城市的空气质量指数。记得跟着我的思路来哟！前期准备工作首先一个舒服的pythonIDLE肯定是必须的了，小编使用的是pycharm，安装的是anaconda，不懂安装的自行去简书查查哟，这里不再赘述。然后确定的我们要爬取的网站，这个网站是http://pm25.in/，界面是这样的：image.pn...
爬取空气质量网（待优化）
小鱼干儿的博客
07-31 270
spider import scrapy from urllib import parse from selenium import webdriver from air_qualityPro.items import AirQualityproItem city_names = ['郑州','开封','洛阳','平顶山','鹤壁','新乡','焦作','濮阳','许昌','漯河','三门峡','南阳','商丘','信阳','周口','驻马店'] class AirQualitySpider(s.
scrapy数据爬取和数据处理
weixin_43550933的博客
07-16 939
scrapy把爬取数据和处理数据分别放在以下两个位置（itcast为我们创建的爬虫名） 数据爬取的代码如下（其中parse方法中的response是请求start_urls的返回）： import scrapy class ItcastSpider(scrapy.Spider): name = 'itcast' #爬虫名字 allowed_domains = ['itcast.cn'] #爬取范围 start_urls = ['http://www.itcast.cn/chan
python怎么爬取新浪微博数据中心_Python爬取国家数据中心环境数据（全国城市空气质量小时报）并导入csv文件...
weixin_33900697的博客
02-20 396
1.开发环境:python 3.5 + fiddler 4 (抓包工具)+ 火狐浏览器 + idea2.分析要爬取的页面2.1 首页数据中心 点击 全国城市空气质量小时报 查看 fiddler4表格中的内容就是要抓取的对象分析fiddler 4 看出请求的方式 请求参数 以及 返回的响应对象注意：一定要抓 返回带有 上述表格 的url (直接请求的url 不含该表格 可以通过浏览...
python爬取中国空气质量在线监测平台分析数据【已更新】
热门推荐
Jancydc的博客
07-22 2万+
本文介绍如何爬取诸如北京等城市的空气污染物浓度数据，并附有完整代码,统统解决你们找不到数据的科研问题！干货满满！！！ 先给你们看一下我爬取数据保存在本地数据库的截图！【共2423条日数据】 好了，言归正传，看一下你们需要的数据应该是长这样的 同样也包含最新数据 这个网站有我们需要的空气污染物数据，时间跨度为2014年1月至最新日期，完美！ 那么如何才能不费吹灰之力的获取到这些数据呢[实际上我第三次爬取该网站才成功>_<]？ 先介绍我在爬取过程遇到的坑！让你觉得这并不是一件容易的事，哈哈哈.
python实战项目10：城市空气质量数据爬取分析可视化
lyccomcn的博客
05-27 1729
先来看一下数据情况以及可视化效果，本项目使用了pyecharts绘制了日历图、雷达图、折线图、柱状图、饼图和平行坐标系。.ipynb文件，需要在jupyternotebook环境下逐步运行。
python爬取百度搜索_Python-Scrapy抓取百度数据并分析
05-19
这里是一个简单的Python-Scrapy爬取百度搜索结果并对搜索结果进行分析的例子： 首先，我们需要安装Scrapy和lxml库。在命令行中输入以下命令： ``` pip install scrapy pip install lxml ``` 然后，我们可以创建一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值