爬取中国天气网的数据（城市，最高温，最低温）

最新推荐文章于 2025-01-16 00:25:03 发布

thunderobot7

最新推荐文章于 2025-01-16 00:25:03 发布

阅读量7.5k

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫学习记录

本文链接：https://blog.youkuaiyun.com/weixin_45242171/article/details/108347097

本文通过实例对比了使用正则表达式和BeautifulSoup库爬取中国天气网的城市、最高温度和最低温度数据。作者发现，在这个案例中，正则表达式的效率和效果似乎优于BeautifulSoup，可能是因为没有充分利用CSS选择器的功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.使用正则

import requests
import re
import random
import csv
import time

# 设置UA与IP
headers_choice = [{
   
   'User-Agent':'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50safari 5.1 – Windows'},{
   
   'User-Agent':'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)TT'},{
   
   'User-Agent':'?Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)'},{
   
   'User-Agent':'Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5'},{
   
   'User-Agent':''},{
   
   'User-Agent':'MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1'},{
   
   'User-Agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)'},{
   
   'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11'},{
   
   'User-Agent':'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)Firefox 4.0.1 – MAC'}]
proxy_choice = [{
   
   'http':'54.214.52.181:80'},{
   
   'http':'34.93.243.67:80'},{
   
   'http':'175.42.128.103:9999'},{
   
   'https':'58.220.95.80:9401'}]
headers = random.choice(headers_choice)
proxy = random.choice(proxy_choice)

# 创建一个空列表用于存储数据
list = []

# 记录爬取的数目
k = 1

# 记录要拼接的地区
all_cregion = [