一、主题式网络爬虫设计方案
1.主题式网络爬虫名称
名称:Python爬取中国天气网天气数据
2.主题式网络爬虫爬取的内容与数据特征分析
本次爬虫主要爬取中国天气网天气数据
3.主题式网络爬虫设计方案概述(包括实现思路与技术难点)
requests库实现发送请求、获取响应。
beautifulsoup实现数据解析、提取和清洗
pyechart模块实现数据可视化
二、主题页面的结构特征分析
华东地区天气预报 华东天气数据
conMidtab 页面整体标签
conMidtab2 地区总体标签
三、网络爬虫程序设计
import requests from bs4 import BeautifulSoup from pyecharts import Bar ALL_DATA = [] def send_parse_urls(start_urls): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHT