【数据分析进阶】DCIC竞赛-task5&6 订单调度分析

最新推荐文章于 2021-02-20 00:26:59 发布

一一张xi

最新推荐文章于 2021-02-20 00:26:59 发布

阅读量416

点赞数 1

本文链接：https://blog.youkuaiyun.com/a8689756/article/details/108725043

版权

【数据分析进阶】DCIC竞赛-task5&6 订单调度分析

task5 订单调度分析
task 06 分析报告撰写

task5 订单调度分析

经纬度转换相关知识

简单的城市名转换成经纬度：
https://www.cnblogs.com/zle1992/p/7209932.html
批量获取经纬度：
https://www.cnblogs.com/reboot777/p/7124010.html
用Python计算北京地铁的两站间最短换乘路线：
http://blog.youkuaiyun.com/myjiayan/article/details/45954679
使用爬虫获取获取所有的站点名
http://blog.youkuaiyun.com/wenwu_both/article/details/70168760
高德地图地理编码服务

http://blog.youkuaiyun.com/u013250416/article/details/71178156

https://www.cnblogs.com/xautxuqiang/p/6241561.html
滴滴订单系统介绍
https://zhuanlan.zhihu.com/p/152013415

geohash原理介绍

geohash用一个字符串表示经度和纬度两个坐标。某些情况下无法在两列上同时应用索引（例如MySQL 4之前的版本，Google App Engine的数据层等），利用geohash，只需在一列上应用索引即可。

其次，geohash表示的并不是一个点，而是一个矩形区域。比如编码wx4g0ec19，它表示的是一个矩形区域。使用者可以发布地址编码，既能表明自己位于北海公园附近，又不至于暴露自己的精确坐标，有助于隐私保护。

热力图展示中，用于geohash点聚合功能，可以提高大量点前端渲染的性能

地址聚类中，通过geohash计算，进行地址归类
地址信息缓存时，通过geohash为key，来索引缓存信息

#geohash中precision的值设置的越大精确度越高，代表的区域越小
taxiorder2019.apply(lambda x: geohash.encode(x['GETON_LATITUDE'], x['GETON_LONGITUDE'],  precision=5), axis=1)

在这里插入图片描述

【注意】在cmd中直接pip install geohash虽然能安装上，但是在jupyter中无法调用
可以使用pip install geohash2安装上然后import geohash2 as geohash

经纬度编码

文件读取、压缩及预处理

import pandas as pd  
import numpy as np
import glob

INPUT_PATH='./input/taxiOrder/'
MAX_ROWS=None #文件读取行数

#读取出租车订单数据文件并进行压缩处理
taxiorder2019=pd.read_csv(INPUT_PATH+'taxiOrder20190531.csv',nrows=MAX_ROWS,
                         dtype = {
                               'GETON_LONGITUDE': np.float32,
                               'GETON_LATITUDE': np.float32,
                               'GETOFF_LONGITUDE': np.float32,
                               'GETOFF_LATITUDE': np.float32,
                               'PASS_MILE': np.float16,
                               'NOPASS_MILE': np.float16,
                               'WAITING_TIME': np.float16
                           })

#对时间类别属性进行转化
taxiorder2019['GETON_DATE']=pd.to_datetime(taxiorder2019['GETON_DATE'])
taxiorder2019['GETOFF_DATE']=pd.to_datetime(taxiorder2019['GETOFF_DATE'])

#属性列重命名
taxiorder2019 = taxiorder2019.rename(columns={'CAR_NO':'CARNO'})

#重新设置索引
taxiorder2019.sort_values(by=['CARNO','GETON_DATE'],inplace=True)
taxiorder2019.reset_index(inplace=True,drop=True)

下面对经纬度进行编码

import geohash2 as geohash
#对所有的经纬度实现了编码，percision编码的精确程度，设置的约精细hash范围越小，对每行进行操作所以设置axis=1
taxiorder2019.apply(lambda x: geohash.encode(x['GETON_LATITUDE'], x['GETON_LONGITUDE'],  precision=5), axis=1)

结果是对数据中的所有经纬度都进行了编码
在这里插入图片描述

taxiorder2019['geohash'] = taxiorder2019.apply(lambda x: geohash.encode(x['GETON_LATITUDE'], x['GETON_LONGITUDE'], precision=8), axis=1)
taxiorder2019['geohash'].value_counts().head(10)

通过value_counts查看下出现最多的位置，第一为经纬度为空的异常值，从第二个开始才是正常的
在这里插入图片描述

#其中7zzzzzzz为异常点，可以提出掉，下面来统计热门的经纬度中心
#通过下面这个步骤统计出了排前十的（去掉异常后）的位置
for idx in taxiorder2019['geohash'].value_counts().iloc[1:11].index:
    print(idx)
    df=taxiorder2019[taxiorder2019['geohash']==idx]
    #因为geohash对应的是一个区域，suoy
    print(idx, df['GETON_LONGITUDE'].mean(), df['GETON_LATITUDE'].mean())

在这里插入图片描述

订单调度分析

分析哪些地方平均等待时间最长

#统计5000个热门的区域，value_counts.index返回了最热门5000区域的geohash的编码
legal_hash=taxiorder2019['geohash'].value_counts().iloc[:5000].index

#使用isin判断是否在5000个热门区域中，统计出来前50000个区域中的平均等待时间
taxiorder2019[taxiorder2019['geohash'].isin(legal_hash)].groupby(['geohash'])['WAITING_TIME'].mean().value_counts()

在这里插入图片描述
导入网约车数据进行统计

wycorder2019=pd.read_csv('./input/wycOrder/wycOrder20190531.csv')
#查看网约车等待时间存在着大量缺失，所以重新利用上车时间-预计上车时间来计算等待时间
wycorder2019.info()

在这里插入图片描述

#对时间进行处理
wycorder2019['DEP_TIME']=pd.to_datetime(wycorder2019['DEP_TIME'])
wycorder2019['BOOK_DEP_TIME']=pd.to_datetime(wycorder2019['BOOK_DEP_TIME'])

#计算等待时间
wycorder2019['WAITING_TIME'] = (wycorder2019['DEP_TIME']-wycorder2019['BOOK_DEP_TIME']).dt.seconds

#经纬度编码
wycorder2019['geohash'] = wycorder2019.apply(lambda x: geohash.encode(x['DEP_LATITUDE'], x['DEP_LONGITUDE'], precision=8), axis=1)

wycorder2019[wycorder2019['geohash'].isin(legal_hash)].groupby(['geohash'])['WAITING_TIME'].mean().sort_values()