python爬虫2(天气网)

本文介绍了一种使用Python和BeautifulSoup库从特定网站抓取天气数据的方法,通过分析CSS代码定位并提取城市和温度信息。




分析网站css代码,使用python从css标签中提取数据
不会分析的,请看上一篇文章,如何爬取豆瓣网的
import  requests
from bs4 import BeautifulSoup

def parse_page(url):
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6776.400 QQBrowser/10.3.2577.400'
    }
    response = requests.get(url,headers)
    text = response.content.decode('utf-8')
#    soup = BeautifulSoup(text,'lxml')
    # 安装 html5lib解析: pip list (查看安装命令)
    # pip install html5lib
    soup = BeautifulSoup(text, 'html5lib')
    conMidtab = soup.find('div',class_='conMidtab')
    tables = conMidtab.find_all('table')
    for table in tables:
# 获取table中所有的tr,前面两个不要,代表下标0和1不要,从下标2的元素开始获取
        trs = table.find_all('tr')[2:]
 #       for tr in trs:
        # enumerate 循环的同时,拿出下标index
        for index,tr in enumerate(trs):
            # 从tr标签中获取所有的td标签
            tds = tr.find_all('td')
            # tds列表td标签中,第一个td标签中为城市名字
            city_td = tds[0]
            if index == 0:
                city_td = tds[1]
            # stripped_strings 获取标签内的文本内容
            # city_td列表中第一个内容为城市的名字
            city = list(city_td.stripped_strings)[0]
            # td标签中,倒数第二个为温度,拿出来
            temp_td = tds[-2]
            # temp_td列表中拿出温度的文本内容
            temp = list(temp_td.stripped_strings)[0]
            print({"city":city,"temp":temp})
            print("======================")
        break
def main():
    urls = [
        'http://www.weather.com.cn/textFC/hb.shtml',
        'http://www.weather.com.cn/textFC/db.shtml',
        'http://www.weather.com.cn/textFC/hn.shtml',
        'http://www.weather.com.cn/textFC/hd.shtml',
        'http://www.weather.com.cn/textFC/gat.shtml'
    ]
    for url in urls:
        parse_page(url)

if __name__ == '__main__':
    main()
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值