爬取各城市的天气 - BeautifulSoup - python

最新推荐文章于 2024-09-08 03:09:49 发布

洋芋本人

最新推荐文章于 2024-09-08 03:09:49 发布

阅读量415

点赞数

分类专栏： python项目练习文章标签： python

本文链接：https://blog.youkuaiyun.com/weixin_43761516/article/details/116668483

版权

本文介绍如何利用BeautifulSoup库来爬取不同城市的天气信息，数据来源于http://www.weather.com.cn/textFC/hb.shtml。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬取各城市的天气

参考的数据来源：http://www.weather.com.cn/textFC/hb.shtml

一、BeautifulSoup

这个方法最简单

import requests
import csv
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.128 Safari/537.36'
}
class  WeatherSpider():
    def __init__(self):
        self.start = 0
        
    def getSource(self,page):
        url = 'http://www.weather.com.cn/textFC/'+page+'.shtml'
        wb_data = requests.get(url,headers=headers).content.decode('utf-8')
        return wb_data
    
    def parseSource(self,page):
        soup = BeautifulSoup(self.getSource(page),'lxml')
        com = soup.find_all('div',class_="conMidtab")[1]   # 1代表的是明天。0~6可以选择7天的天气
        tables = com.find_all('table')
        onerows = []
        for t