Python实现网页天气爬虫程序

最新推荐文章于 2024-04-04 01:13:07 发布

原创

最新推荐文章于 2024-04-04 01:13:07 发布 · 827 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Python #爬虫 #Python基础 #编程语言

本文介绍了如何使用Python进行网页天气爬虫的实现，主要涉及urllib库获取网页HTML以及正则表达式解析数据。通过简单的两步，即可从网页中抓取到所需天气信息。

说道爬虫大家或许感觉非常神秘，其实它没有我们想象的那么神奇，今天我们就来揭开它神秘的面纱。呵呵，简单两步就可以实现一个网页天气爬虫程序。。。

爬虫简单说来包括两个部分：

1.获得网页文本信息。

2.数据分析，获取其中我们想要的数据。

#1、获得网页文本信息。

python在获取html方面十分方便，有了urllib库的帮助，只需要几行代码就可以实现我们需要的功能。


#引入urllib库
import urllib
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
page.close()
return html
Python学习qun：784758214  内有安装包，学习视频资料，PDF资源

这里返回的就是网页的源代码，也就是html代码。

那我们如何从中得到我们想要的信息呢？那就需要用到在网页分析里面最最常用的工具 - 正则表达式了。

#2、根据正则表达式等获得需要的内容。

使用正则表达式时需要仔细观察该网页信息的结构，并写出正确的正则表达式。

python正则表达式的使用也很简洁：

#引入正则表达式库
import re
def getWeather(html):
reg = '<a title=.*?>(.*?)</a>.*?<span>(.*?)</span>.*?<b>(.*?)</b>'
weatherList = re.compile(reg).findall(html)
return weatherList

其中reg是正则表达式，html是第一步获得的文本。findall的作用是找到html中所有符合正则匹配的字符串并存放到weatherList中。之后再枚举weatheList中的数据输出即可。

如果你依然在编程的世界里迷茫，可以加入我们的Python学习扣qu