爬虫爬取全国历史天气数据

最新推荐文章于 2024-09-13 16:31:32 发布

原创

最新推荐文章于 2024-09-13 16:31:32 发布 · 6.2k 阅读

21 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #python

这是一个介绍如何使用Python爬虫从http://www.tianqihoubao.com抓取特定城市1到7月历史天气信息的教程。通过修改代码，用户可自定义爬取的城市及月份。

一段很简单的爬虫程序，爬取的网站为http://www.tianqihoubao.com，可以自己修改爬取城市以及爬取的月份，这里爬取的是1到7月的数据

from bs4 import BeautifulSoup
import requests
import pymysql
import warnings
# import pinyin
# from pinyin import PinYin
from pypinyin import pinyin, lazy_pinyin
import pypinyin
warnings.filterwarnings("ignore")

conn = pymysql.connect(host='localhost', user='root', passwd='root', db='test2', port=3306, charset='utf8')
cursor = conn.cursor()
def get_temperature(url,city):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,  like Gecko) Chrome/63.0.3239.132 Safari/537.36'}           # 设置头文件信息
    response = requests.get(url,  headers=headers).content    # 提交requests get 请求
    soup = BeautifulSoup(response,  "lxml")       # 用Beautifulsoup 进行解析

    conmid2 = soup.findAll('div',  class_='wdetail')
    # conmid2 = conmid.findAll('div',  class_='wde