python 爬虫---爬取一周天气预报信息

最新推荐文章于 2024-09-07 16:07:11 发布

原创

最新推荐文章于 2024-09-07 16:07:11 发布 · 2.4k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文介绍如何使用Python爬虫抓取湛江地区一周的天气信息，包括日期、天气状况及每日最高、最低温度。目前遇到的问题是若最高温度数据缺失，会显示为列表形式的空括号。

爬取湛江一周的天气状况（日期、天气状况、当天的最该最低温度）

1、爬取网站信息

def parse_url(url, headers):
    # 解释url
    response = requests.get(url, headers=headers)
    return response.content.decode("utf-8")

2、提取有用数据

def get_weather_data(html_content):
    # 提取信息 div-url-ui
    metree = lxml.html.etree
    # 获得解析对象
    parser = metree.HTML(html_content, metree.HTMLParser())
    # 使用Xpath语法获得li所有标签
    li_list = parser.xpath("//div[@class='c7d']/ul[@class='t clearfix']/li")
    # print(li_list)
    data = []
    for element in li_list:
        item = {}
        item["name"] = element.xpath("./h1/text()")[0]
    # item["data"] = li_list[0].xpath("./h1/text()")[0]
        item["weather"] = element.xpath("./p[@class='wea']/text()")[0]
        item["tem_low"] = element.xpath("./p[@class='tem']/i/text()")[0]

        # item["tem_height"] = element.xpath("./p[@class='tem']/span/text()")[0] 会数组越界，因为，没有了最高温度（还没解决）
        item["tem_up"] = eleme