python爬虫2（天气网）

最新推荐文章于 2025-06-18 17:58:09 发布

原创最新推荐文章于 2025-06-18 17:58:09 发布 · 334 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

代码同时被 2 个专栏收录

15 篇文章

订阅专栏

python

12 篇文章

订阅专栏

本文介绍了一种使用Python和BeautifulSoup库从特定网站抓取天气数据的方法，通过分析CSS代码定位并提取城市和温度信息。





分析网站css代码，使用python从css标签中提取数据
不会分析的，请看上一篇文章，如何爬取豆瓣网的
import  requests
from bs4 import BeautifulSoup

def parse_page(url):
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6776.400 QQBrowser/10.3.2577.400'
    }
    response = requests.get(url,headers)
    text = response.content.decode('utf-8')
#    soup = BeautifulSoup(text,'lxml')
    # 安装 html5lib解析: pip list （查看安装命令）
    # pip install html5lib
    soup = BeautifulSoup(text, 'html5lib')
    conMidtab = soup.find('div',class_='conMidtab')
    tables = conMidtab.find_all('table')
    for table in tables:
# 获取table中所有的tr，前面两个不要，代表下标0和1不要，从下标2的元素开始获取
        trs = table.find_all('tr')[2:]
 #       for tr in trs:
        # enumerate 循环的同时，拿出下标index
        for index,tr in enumerate(trs):
            # 从tr标签中获取所有的td标签
            tds = tr.find_all('td')
            # tds列表td标签中，第一个td标签中为城市名字
            city_td = tds[0]
            if index == 0:
                city_td = tds[1]
            # stripped_strings 获取标签内的文本内容
            # city_td列表中第一个内容为城市的名字
            city = list(city_td.stripped_strings)[0]
            # td标签中，倒数第二个为温度，拿出来
            temp_td = tds[-2]
            # temp_td列表中拿出温度的文本内容
            temp = list(temp_td.stripped_strings)[0]
            print({"city":city,"temp":temp})
            print("======================")
        break
def main():
    urls = [
        'http://www.weather.com.cn/textFC/hb.shtml',
        'http://www.weather.com.cn/textFC/db.shtml',
        'http://www.weather.com.cn/textFC/hn.shtml',
        'http://www.weather.com.cn/textFC/hd.shtml',
        'http://www.weather.com.cn/textFC/gat.shtml'
    ]
    for url in urls:
        parse_page(url)

if __name__ == '__main__':
    main()