爬取2345天气数据

最新推荐文章于 2025-12-05 08:37:05 发布

原创

最新推荐文章于 2025-12-05 08:37:05 发布 · 1.5k 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#python #pandas #se #爬虫

爬取2345天气数据

方法：利用Selenium 库，用于模拟浏览器操作，获取每个页面的源码，毕竟，有源码不愁数据。

一、分析页面内容

可以看到页面只会展示每个月份的数据，无法同时爬取多个月份的值
想要爬取每个月份数据，需要点击“上个月” 按钮

在这里插入图片描述

二、代码实现

首先将模拟浏览器登陆页面
确保浏览器是谷歌浏览器

from selenium import webdriver  # 导入 Selenium 库，用于模拟浏览器操作
import requests  # 导入 requests 库，用于发送 HTTP 请求
from bs4 import BeautifulSoup  # 导入 BeautifulSoup 库，用于解析 HTML
import html.parser  # 导入 html.parser 模块
import time  # 导入 time 模块，用于暂停执行
import pandas as pd  # 导入 pandas 库，用于数据处理和分析
import undetected_chromedriver as uc
import random
# 创建 ChromeOptions 对象并设置浏览器选项
options = uc.ChromeOptions()
options.add_argument("--no-sandbox")
options.add_argument("--disable-dev-shm-usage")
options.add_argument("--window-size=444x133")
options.add_argument("--disable-gpu")
options.add_argument("--hide-scrollbars")