爬取2345天气数据

爬取2345天气数据

方法： 利用Selenium 库，用于模拟浏览器操作，获取每个页面的源码，毕竟，有源码不愁数据。

一、分析页面内容

• 可以看到页面只会展示每个月份的数据，无法同时爬取多个月份的值
• 想要爬取每个月份数据，需要点击“上个月” 按钮

二、代码实现

1. 首先将模拟浏览器登陆页面
   确保浏览器是谷歌浏览器

from selenium import webdriver  # 导入 Selenium 库，用于模拟浏览器操作
import requests  # 导入 requests 库，用于发送 HTTP 请求
from bs4 import BeautifulSoup  # 导入 BeautifulSoup 库，用于解析 HTML
import html.parser  # 导入 html.parser 模块
import time  # 导入 time 模块，用于暂停执行
import pandas as pd  # 导入 pandas 库，用于数据处理和分析
import undetected_chromedriver as uc
import random
# 创建 ChromeOptions 对象并设置浏览器选项
options = uc.ChromeOptions()
options.add_argument("--no-sandbox")
options.add_argument("--disable-dev-shm-usage")
options.add_argument("--window-size=444x133")
options.add_argument("--disable-gpu")
options.add_argument("--hide-scrollbars")