【python爬虫+可视化】2020疫情数据可视化

补档一下2020.6在家去不了学校做的疫情数据可视化 （使用Python进行爬虫+可视化输出）

**

一、 环境配置

**
使用编程软件python3.7
代码涉及函数库：
关于警告的warnings
基础数据处理的两个函数库numpy和pandas
涉及网络爬虫的requests
Java相关的json
时间函数库time
画图函数库pyecharts *使用版本1.7.1

import warnings
import numpy as np
import pandas as pd
import requests
import json
import time
from pyecharts import options as opts
from pyecharts.charts import Map
from pyecharts.charts import Line
pd.set_option('max_rows',500)
warnings.filterwarnings('ignore')

二、输入输出文件

代码文件：疫情数据可视化.py
输出html：
中国疫情地图.html
世界疫情地图.html
广东疫情折线图.html
美国疫情折线图.html

三.、代码设计

1. 网络爬虫获取数据

编写类放所有函数
（1）连接网站
（2）获取数据
（3）写入CSV存储
（4）获取全国各省的实时数据
（5）获取世界实时数据
（6）获取中国历史疫情数据
（7）获取特定省的疫情数据
（8）获取特定国家疫情数据
（9）获取世界各国历史数据

'''获取疫情数据'''
class getCOVID19(object):
    
    '''请求连接网站'''
    def connectUrl(self,url):
        '''url:要访问的网址,str'''
        
        #设置代理网站
        headers = {
   };
        headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
        try:
            # 使用requests发起请求
            response = requests.get(url,headers = headers)
#            print(response.text)
            print('请求状态：',response.status_code)
            print('访问成功！！！')
        except:
            print('访问失败！！！')
            
        return response
    
    
    '''获取所有数据'''
    def getTotalData(self,response):
        '''response:访问网站解析之后得到的文件'''
        
        # 查看网站的源代码可以看到数据为类似字典的json格式
        # 故转换为json格式
        data_json = json.loads(response.text)
#        print('查看json格式的数据格式:\n',data_json.keys())
        # 'data'键中存放着我们需要的数据
        # 取出数据(字典格式)
        data = data_json['data']
#        print('疫情数据：\n',data)
#        print('取出的数据的键：\n',data.keys())
        '''
            chinaTotal:全国当日数据
            chinaDayList:全国历史数据
            lastUpdateTime:更新时间
            areaTree:世界各地实时数据
        '''    
        return data
    
    
    '''写入csv的函数'''
    def writeCSV(self,data,name):
        '''data:要写入的数据，DataFrame格式
           name:主要的文件名称
        '''
        
        file_name = name + '_' + time.strftime('%Y_%m_%d',time.\
                                           localtime(time.time())) + '.csv'
        data.to_csv(file_name,index = None,encoding = 'utf_8_sig')
        print(file_name + '保存成功')
    
    
    
    '''获取全国各省的实时数据'''
    def getTimlyChinaData(self):
        start = time.time()
        
        url = r'https://c.m.163.com/ug/api/wuhan/app/data/list-total'
        # 连接网址
        response = getCOVID19.connectUrl(self,url)
        print('网站数据大小：',len(response.text))
        # 获取数据
        data = getCOVID19.getTotalData(self,response)
        
        # 全国各省的实时数据
        provice_data = data['areaTree'][2]['children']
        '''
            provice_data是列表格式
            每个元素是一个省的实时数据，
            并且为字典格式，每个省的键名称全部相同
        '''
#        print('每个省键名称:\n',provice_data[0].keys())
        '''
            today:各省当日数据
            total:各省当日累计数据
            extData:无任何数据,空值
            name:各省名称
            id:各省行政编号
            lastUpdateTime:更新时间
            children:各省下一级数据
        '''
        # 提取需要的数据并封装
        ##主要信息
        info = pd.DataFrame(provice_data)[['id','lastUpdateTime','name']]
        ## 生成today的数据
        today_data = pd.DataFrame([i['today'] for i in provice_data])
        ## 修改列名
        today_data.columns = ['today_' + i for i in today_data.columns]
        ## 生成total的数据
        total_data = pd.DataFrame([i['total'] for i in provice_data])
        ## 修改列名
        total_data.columns = ['total_' + i for i in total_data.columns]
        
        final_data = pd.concat([info,total_data,today_data],axis = 1)
        
#        #写入csv文件
#        name = 'ChinaTimly'
#        getCOVID19.writeCSV(self,final_data,name)
        
        print('耗时：',round(time.time() - start))
        
        return final_data
        
    
    
    
    '''获取世界实时数据'''
    def getTimlyWorldData(self):
        start = time.time()
        
        url = r'https://c.m.163.com/ug/api/wuhan/app/data/list-total'
        # 连接网址
        response = getCOVID19.connectUrl(self,url)
        print('网站数据大小：',len(response.text))
        # 获取数据
        data = getCOVID19.getTotalData(self,response)
        
        # 取出实际各地的数据
        area_tree = data['areaTree']
#        print('世界数据的键名：\n',area_tree[0])
        '''
            today	当日数据
            total	累计数据
            extData	无任何数据
            name	国家名称
            id	各国编号
            lastUpdateTime	更新时间
            children	各国下一级数据(例如省份或州)
        '''
        # 提取需要的数据并封装
        ##主要信息
        info = pd.DataFrame(area_tree)[['id','lastUpdateTime','name']]
        ## 生成today的数据
        today_data = pd.DataFrame([i['today'] for i in area_tree])
        ## 修改列名
        today_data.columns = ['today_' + i for i in today_data.columns]
        ## 生成total的数据
        total_data = pd.DataFrame([i['total'] for i in area_tree])
        ## 修改列名
        total_data.columns = ['total_' + i for i in total_data.columns]
        
        final_data = pd.concat([info,total_data,today_data],axis = 1)
        
#        #写入csv文件
#        name = 'WorldTimly'
#        getCOVID19.writeCSV(self,final_data,name)
        
        print('耗时：',round(time.time() - start))
        
        return final_data
    
    
    '''获取中国历史数据'''
    def getHisChinaData(self):
        start = time.time()
        
        '''
            为了得到每个省的历史数据，
            我们只需要将各省的行政代码作为参数传入这个地址即可，如下所示：
            https://c.m.163.com/ug/api/wuhan/app/data/list-by-area-code?areaCode=各省行政代码

            例如广东省历史数据的地址为：https://c.m.163.com/ug/api/wuhan/app/data/list-by-area-code?areaCode=440000

            湖南省历史数据的地址为：https://c.m.163.com/ug/api/wuhan/app/data/list-by-area-code?areaCode=430000
        '''
        # 获取各省的行政代码
        timly_china = getCOVID19.getTimlyChinaData(self)
        province_info = {
   num:name for num,name in zip(timly_china['id'],timly_china['name'])}
        
        # 遍历各省编号
        for province_id in province_info:
            # 容错机制
            try:
                # 按照各省的行政编号构造网址
                url = r'https://c.m.163.com/ug/api/wuhan/app/data/list-by-area-code?areaCode=' + province_id
                # 连接网址
                response = getCOVID19.connectUrl(self,url)
                print('网站数据大小：',len(response.text))
                data_json = json.loads(response.text)
                
                # 需要的主要数据
                data = data_json['data']['list']
                #主要信息
                info = pd.DataFrame(data)['date']
                # 生成today的数据
                today_data = pd.DataFrame([i['today'] for i in data])
                # 修改列名
                today_data.columns = ['today_' + i for i in today_data.columns]
                # 生成total的数据
                total_data = pd.DataFrame([i['total'] for i in data])
                # 修改列名
                total_data.columns = ['total_' + i for i in total_data.columns]
                # 合并数据
                province_data = pd.concat([info,total_data,today_data],axis = 1)
                # 提取数据并添加各省的名称列
                province_data['name'] = province_info[province_id]
                
                # 合并数据（从湖北开始）
                if province_id == '420000':
                    his_province = province_data
                else:
                    his_province = pd.concat([his_province,province_data])
                print('{0} 成功！！！大小：{1}->{2}'.format(province_info[province_id],
                                                  province_data.shape,his_province.shape))
                
                end = round(time.time() - start)
                print('耗时：',end)
                print('-'*40)
                #设置延迟等待
                time.sleep(5)
            
            except:
                print('{0} 失败！！！大小：{1}->{2}'.format(province_info[province_id],
                                                  province_data.shape,his_province.shape))
                print('-'*40)
        
#        # 写入CSV文件
#        name = 'HistoryChina'
#        getCOVID19.writeCSV(self,his_province,name)
        
        final_end =