BeautifulSoup练习

最新推荐文章于 2022-06-22 09:31:00 发布

原创

最新推荐文章于 2022-06-22 09:31:00 发布 · 600 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

中国天气网

http://www.weather.com.cn/textFC/hb.shtml
爬取除了港澳台所有地区的城市名和最低气温
然后再获取温度最低是个城市

import requests
from bs4 import BeautifulSoup
from pyecharts.charts import Bar
from pyecharts import options

headers = {
   
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36'
}


req = requests.get('http://www.weather.com.cn/textFC/hb.shtml', headers=headers)
req.encoding = 'utf-8'

# bs4获取数据
soup = BeautifulSoup(req.text, 'lxml')


# 获取不同地区的href
hrefs = ["http://www.weather.com.cn" + obj.get('href') for obj in soup.select('.lq_contentboxTab2 a')[:-1]]

# 创建一个全局变量用来接受数据
data = []

def get_data(url):
    req = requests.get(url, headers=headers)
    req.encoding = 'utf-8'

    # bs4获取数据
    soup = BeautifulSoup(req.text, 'lxml')

    # select方法返回的对象，可以继续使用select方法查找他的子元素
    divs = soup.select('.conMidtab')[0].select('.conMidtab2')

    for div in divs:
        trs = div.select('tr')[2:]
        for tr in trs:
            city = tr.select('td')[-8].get_text().strip()
            wendu = tr.select('td')[-2