最近参加了江苏省的数模省赛,做了一个题目,是关于疫情的,我们选择腾讯的疫情数据作为爬取对象,相关的代码如下。为了测试爬虫历时,我还记录了打印操作。
有小伙伴评论说except调试问题,关于这个问题,当初这个调试只是防止excel文件没关闭就进行写入数据的异常,其实用处不大,可以注释掉我的try except部分。整个程序本身是完整的,这个小问题可以忽略。
# 导入相关模块
import openpyxl
import requests
import time
# 记录爬虫开始的时间
start = time.time()
# 需要爬取的网址、反爬虫头部信息、国家信息、保存结果的excel文件路径
urlList = [
# 美国疫情网址
"https://api.inews.qq.com/newsqa/v1/automation/foreign/daily/list?country=%E7%BE%8E%E5%9B%BD&",
# 意大利疫情网址
"https://api.inews.qq.com/newsqa/v1/automation/foreign/daily/list?country=%E6%84%8F%E5%A4%A7%E5%88%A9&",
# 法国疫情网址
"https://api.inews.qq.com/newsqa/v1/automation/foreign/daily/list?country=%E6%B3%95%E5%9B%BD&",
# 澳大利亚疫情网址
"https://api.inews.qq.com/newsqa/v1/automation/foreign/daily/list?country=%E6%BE%B3%E5%A4%A7%E5%88%A9%E4%BA%9A&",
# 韩国疫情网址