2019泰迪杯C题案例分析-python大数据自动化数据挖掘

一、问题背景

车联网是指借助装载在车辆上的电子标签通过无线射频等识别技术，实现在信息网络平
台上对所有车辆的属性信息和静、动态信息进行提取和有效利用，并根据不同的功能需求对
所有车辆的运行状态进行有效的监管和提供综合服务的系统。当前道路运输行业等相关部门
利用车联网等系统数据，开展道路运输过程安全管理的数据分析，以提高运输安全管理水平
和运输效率。
某运输企业所辖各车辆均存在常规运输路线与驾驶人员。在驾驶员每次运输过程中，车
辆均可自动采集当前驾驶行为下的行车状态信息并上传至车联网系统。驾驶行为可能随气
象、路况等因素的变化而变化，进一步影响行车安全、运输效率与节能水平。
请根据该运输企业所采集的数据（见附件 1、附件 2），分析车辆行驶过程中的驾驶行为
对行车安全、运输效率与节能情况的影响，运用数据挖掘的方法，建立有效的数学模型进行
评价。

二、研究问题

(1) 利用附件 1 所给数据，提取并分析车辆的运输路线以及其在运输过程中的速度、加
速度等行车状态。提交附表中 10 辆车每辆车每条线路在经纬度坐标系下的运输线路图及对
应的行车里程、平均行车速度、急加速急减速情况。
(2) 利用附件 1 所给数据，挖掘每辆运输车辆的不良驾驶行为，建立行车安全的评价模
型，并给出评价结果。
(3) 综合考虑运输车辆的安全、效率和节能，并结合自然气象条件与道路状况等情况，
为运输车辆管理部门建立行车安全的综合评价指标体系与综合评价模型。

在车辆运输过程中，不良驾驶行为主要包括疲劳驾驶、急加速、急减速、怠速预
热、超长怠速、熄火滑行、超速、急变道等。

三、分析问题

首先，题目给了有十三维数据，总共450个excel，以及一个天气汇总表。
我们观察到，450个excel数据格式都是一样的，平均每个excel有七八万条数据，如果手动计算挖掘的话，肯定会很麻烦。

excel的批量处理

首先，我们来进行批量excel的处理。

import numpy as np                #che su wending xing
import pandas as pd
import os

def file_name( user_dir):
        file_list = list()
        for root, dirs, files in os.walk(user_dir):
            for file in files:
                # if os.path.splitext(file)[1] == '.txt':
                if file.split('.')[-1]=='csv':
                    file_list.append(o