城市平均高温、平均低温数据爬取与可视化

爬取历史天气网站数据

从天气网站爬取指定城市、指定时间范围内的天气数据，并将数据保存为CSV文件。具体而言，它使用了Selenium库来模拟浏览器行为，以便获取动态加载的页面内容。

主要步骤如下：

• 读取城市信息和代理IP信息，并初始化Chrome浏览器及其设置。
• 提示用户输入爬取的起始年份、结束年份、起始月份和结束月份。
• 启动Chrome浏览器调试服务，并创建Chrome驱动。
• 定义了一个名为crawl_aqi_data()的函数，用于爬取指定城市、指定年份和月份的天气数据，并将数据保存到CSV文件中。在函数内部，它首先构建了目标URL，然后打开URL，等待页面加载完成。接着，创建了保存数据的目录，并打开CSV文件进行写入。在读取数据时，它通过Selenium定位到页面上相应的元素，提取数据，并写入CSV文件。
• 循环遍历所有城市、年份和月份，调用crawl_aqi_data()函数执行爬取任务，并在每次爬取后休眠1秒。
• 最后，关闭浏览器，并输出"数据爬取完成。"
• 需要注意的是，为了避免被网站封禁IP，程序在每次爬取后都会休眠1秒，并且随机选择一个代理IP来访问网站

import os
import time
import subprocess
from selenium import webdriver
from selenium.webdriver.common.by import By
import csv
import pinyin
from fake_useragent import UserAgent
import random

# 读取城市信息
with open("city.txt", "r", encoding="utf-8") as file:
    cities = [line.strip() for line in file if line.strip()]

ips =[]
with open('ip.txt', 'r') as f:
    for line in f:
        ip = line.strip()
        ips.append(ip.strip())


# 输入爬取的起始年份、结束年份、起始月份和结束月份
start_year = int(input("请输入起始年份: "))
end_year = int(input("请输入结束年份: "))
start_month = int(input("请输入起始月份: "))
end_month = int(input("请输入结束月份: "))

# 启动Chrome浏览器调试服务
subprocess.Popen('cmd', shell=True)
subprocess.Popen('"chrome-win64\chrome.exe" --remote-debugging-port=9222', shell=True)

# 创建Chrome驱动
chrome_options = webdriver.ChromeOptions()
chrome_options.add_experimental_option