【DCIC】task1

最新推荐文章于 2021-02-27 00:04:23 发布
原创 最新推荐文章于 2021-02-27 00:04:23 发布 · 272 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 

import pandas as pd 
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

df = pd.read_csv('taxiGps20200618.csv')

df
RUNNING_STATUSGPS_SPEEDDRIVING_DIRECTIONGPS_DATELONGITUDELATITUDECARNO
090.002020-06-18 11:17:07118.15331524.48422149550f5b7501cb7c204cf7f7831748dd
110.002020-06-18 11:17:23118.15419524.48391649550f5b7501cb7c204cf7f7831748dd
280.002020-06-18 16:23:53118.15521024.4530452263295e0de66305ebb2e5c40c841214
310.02182020-06-18 16:53:51118.10598324.5887006d815f5a600bd79e8065e55b089b0cac
410.02182020-06-18 16:53:27118.10598324.5887006d815f5a600bd79e8065e55b089b0cac
510.002020-06-18 11:17:54118.15370824.48417149550f5b7501cb7c204cf7f7831748dd
610.002020-06-18 12:36:00118.15350624.48416049550f5b7501cb7c204cf7f7831748dd
710.002020-06-18 11:18:24118.15357524.48415349550f5b7501cb7c204cf7f7831748dd
810.002020-06-18 12:37:03118.15350624.48416049550f5b7501cb7c204cf7f7831748dd
910.002020-06-18 11:18:55118.15357524.48415349550f5b7501cb7c204cf7f7831748dd
1090.002020-06-18 11:20:02118.15357524.48415349550f5b7501cb7c204cf7f7831748dd
1180.002020-06-18 16:23:53118.15521024.4530452263295e0de66305ebb2e5c40c841214
1210.002020-06-18 16:21:350.0000000.00000027887e2a10652e5869310b4f1bf340f4
1310.002020-06-18 16:25:330.0000000.00000027887e2a10652e5869310b4f1bf340f4
1410.002020-06-18 16:27:010.0000000.00000027887e2a10652e5869310b4f1bf340f4
1510.002020-06-18 10:19:000.0000000.00000027887e2a10652e5869310b4f1bf340f4
1610.002020-06-18 16:24:330.0000000.00000027887e2a10652e5869310b4f1bf340f4
1710.002020-06-18 16:22:520.0000000.00000027887e2a10652e5869310b4f1bf340f4
1810.002020-06-18 16:23:570.0000000.00000027887e2a10652e5869310b4f1bf340f4
1910.002020-06-18 16:26:330.0000000.00000027887e2a10652e5869310b4f1bf340f4
2010.002020-06-18 10:19:300.0000000.00000027887e2a10652e5869310b4f1bf340f4
2110.002020-06-18 16:26:030.0000000.00000027887e2a10652e5869310b4f1bf340f4
2210.002020-06-18 16:21:290.0000000.00000027887e2a10652e5869310b4f1bf340f4
2310.002020-06-18 16:22:050.0000000.00000027887e2a10652e5869310b4f1bf340f4
2410.002020-06-18 16:24:030.0000000.00000027887e2a10652e5869310b4f1bf340f4
2510.002020-06-18 10:17:550.0000000.00000027887e2a10652e5869310b4f1bf340f4
2610.002020-06-18 16:22:350.0000000.00000027887e2a10652e5869310b4f1bf340f4
2710.002020-06-18 10:18:300.0000000.00000027887e2a10652e5869310b4f1bf340f4
2810.002020-06-18 16:25:030.0000000.00000027887e2a10652e5869310b4f1bf340f4
2910.02192020-06-18 20:11:22118.02770824.5768009d7c1e9850aa9e80d9b6df2c12f3be0c
........................
2225944410.002020-06-18 10:10:500.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225944510.002020-06-18 10:12:210.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225944610.002020-06-18 10:13:550.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225944710.002020-06-18 10:13:370.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225944810.002020-06-18 10:16:550.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225944910.002020-06-18 10:05:160.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225945010.002020-06-18 10:10:200.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225945110.002020-06-18 10:08:200.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225945210.002020-06-18 10:09:500.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225945310.002020-06-18 10:11:200.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225945410.002020-06-18 10:14:550.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225945510.002020-06-18 10:16:250.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225945610.002020-06-18 10:05:520.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225945710.002020-06-18 10:05:220.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225945810.002020-06-18 10:07:500.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225945910.002020-06-18 10:06:350.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225946010.002020-06-18 10:12:510.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225946110.002020-06-18 10:11:500.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225946210.002020-06-18 10:15:550.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225946310.002020-06-18 10:06:160.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225946410.002020-06-18 10:06:220.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225946510.002020-06-18 10:13:250.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225946610.002020-06-18 10:08:150.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225946710.002020-06-18 10:07:200.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225946810.002020-06-18 10:07:150.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225946910.002020-06-18 10:08:500.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225947010.002020-06-18 10:14:250.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225947110.002020-06-18 10:17:250.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225947210.002020-06-18 10:15:250.0000000.00000027887e2a10652e5869310b4f1bf340f4
2225947380.002020-06-18 08:50:17118.15519624.452791d4ff8b3b82659a913adc37eab5c73c3d

22259474 rows × 7 columns

df['DRIVING_DIRECTION'].value_counts()

0      2599647
254     152899
252     145160
74      139602
72      131728
270     120226
256     114278
250     110893
272     108768
258     105968
90      104624
264     103306
92      103157
84      102944
76      102777
268     101334
266     101128
262      99976
260      99433
274      99382
276      98322
244      97674
94       96767
70       95441
248      94830
294      92827
170      91701
82       91467
322      91081
16       90672
        ...   
41       25740
145      25727
217      25521
131      25430
49       25388
45       25367
59       25264
119      25235
143      25202
137      25133
53       25085
33       25006
311      24903
61       24871
309      24813
139      24778
113      24728
47       24217
31       24181
29       24040
307      23991
111      23937
127      23729
35       23671
103      23610
43       23377
107      22666
109      22369
37       21588
360      13294
Name: DRIVING_DIRECTION, Length: 361, dtype: int64

df.describe().round(2)
RUNNING_STATUSGPS_SPEEDDRIVING_DIRECTIONLONGITUDELATITUDE
count22259474.0022259474.0022259474.0022259474.0022259474.00
mean1.5916.52162.57117.9124.47
std1.5221.21112.965.011.05
min0.000.000.000.000.00
25%1.000.0063.00118.1024.48
50%1.007.10166.00118.1224.50
75%2.0028.90260.00118.1524.52
max41.001866.00360.00128.6036.83
df[df.LATITUDE >= 90]
RUNNING_STATUSGPS_SPEEDDRIVING_DIRECTIONGPS_DATELONGITUDELATITUDECARNO
df[df.LATITUDE <= 20]['LATITUDE'].unique()

array([ 0.      , 18.735893, 16.720076, 18.477973, 19.545486, 18.189498,
       17.827593, 19.173525, 18.357385, 19.698856, 18.326236, 18.322025,
       18.33303 , 18.344588, 18.351545, 18.38139 , 18.381683, 18.314838,
       18.319148, 18.317458, 18.301231, 18.304743, 18.30703 , 19.540326,
       18.310495, 18.312541, 18.338078, 18.337708, 18.34453 ])



打卡任务
统计巡游车GPS数据在20190603中包含多少俩出租车🚖？
统计网约车GPS数据在20190603中包含多少俩网约车🚗？
统计巡游车订单数据在20190603中上车经纬度的最大最小值？
统计网约车订单数据集在20190603中下车经纬度最常见的位置？
假设经度+维度，各保留三维有效数字组合得到具体位置
小提示：可以将经纬度拼接到一起进行统计

df.columns

Index(['RUNNING_STATUS', 'GPS_SPEED', 'DRIVING_DIRECTION', 'GPS_DATE',
       'LONGITUDE', 'LATITUDE', 'CARNO'],
      dtype='object')

len(df.CARNO.unique())

6647

df.describe().round(3)
RUNNING_STATUSGPS_SPEEDDRIVING_DIRECTIONLONGITUDELATITUDE
count2.225947e+072.225947e+072.225947e+072.225947e+072.225947e+07
mean1.592000e+001.652300e+011.625740e+021.179080e+022.446800e+01
std1.524000e+002.120900e+011.129550e+025.007000e+001.045000e+00
min0.000000e+000.000000e+000.000000e+000.000000e+000.000000e+00
25%1.000000e+000.000000e+006.300000e+011.180970e+022.447900e+01
50%1.000000e+007.100000e+001.660000e+021.181230e+022.449600e+01
75%2.000000e+002.890000e+012.600000e+021.181490e+022.452300e+01
max4.100000e+011.866000e+033.600000e+021.286000e+023.682800e+01
sns.kdeplot(df.LATITUDE.value_counts())

<matplotlib.axes._subplots.AxesSubplot at 0x1c389fade10>

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0wVeEGj1-1599817423523)(output_11_1.png)]



0.000000     40050
24.533688     5519
24.539665     5079
24.516658     4829
24.690826     4671
24.467685     4442
24.525995     4216
24.474758     3924
24.477215     3823
24.501808     3626
24.510193     3610
24.492511     3574
24.668578     3563
24.480398     3532
24.690756     3509
24.471203     3461
24.480805     3425
24.481183     3297
24.481280     3287
24.512276     3265
24.508940     3246
24.490398     3236
24.519206     3196
24.511568     3194
24.499750     3115
24.512401     3087
24.483943     3075
24.512973     3062
24.690510     3046
24.499226     3029
             ...  
24.896530        1
25.194982        1
25.067691        1
24.521939        1
25.122210        1
25.843908        1
24.568814        1
25.018415        1
24.761613        1
24.774230        1
24.534484        1
25.050253        1
24.790970        1
24.712845        1
24.737576        1
24.408328        1
24.603914        1
26.004841        1
24.871766        1
24.754435        1
24.362590        1
24.706326        1
24.779881        1
24.653016        1
24.739900        1
23.698791        1
24.565734        1
24.425187        1
24.708650        1
24.745930        1
Name: LATITUDE, Length: 292120, dtype: int64

location = df[['LONGITUDE','LATITUDE']].round(3).astype('str')
location = location[(location.LONGITUDE != 0)|(location.LATITUDE != 0)]
location['loc'] = location.LATITUDE + ':' + location.LONGITUDE

num_loc = location['loc'].value_counts()

pd.DataFrame(num_loc).reset_index()['index'].str.split(':',expand = True)
01
024.638118.071
124.691118.141
224.547118.147
324.539118.129
424.538118.129
524.489118.155
624.547118.146
724.639118.071
824.482118.116
924.485118.117
1024.481118.116
1124.49118.149
1224.599118.109
1324.479118.115
140.00.0
1524.546118.147
1624.474118.178
1724.475118.114
1824.477118.107
1924.512118.137
2024.547118.144
2124.537118.127
2224.548118.146
2324.48118.116
2424.538118.128
2524.472118.174
2624.486118.131
2724.638118.072
2824.472118.11
2924.502118.128
.........
6575424.631117.724
6575523.614117.367
6575624.966118.381
6575724.457118.101
6575824.522118.023
6575924.661118.115
6576024.525118.082
6576124.183117.584
6576224.454118.06
6576324.674118.053
6576424.506118.24
6576524.518117.437
6576626.683118.16
6576727.336117.481
6576824.564117.593
6576924.442118.177
6577024.581118.11
6577125.848119.518
6577224.801118.128
6577324.25117.659
6577424.706117.786
6577524.716118.07
6577624.781118.45
6577724.748118.42
6577824.958118.076
6577923.75116.633
6578024.839118.427
6578124.694118.535
6578224.354118.123
6578324.551117.896

65784 rows × 2 columns
DCIC2021_task1
weixin_43913783的博客
02-19 998
DCIC2021 共享单车潮汐分布预测赛题理解赛题目的赛题任务Baseline中 一些特殊的库的了解```%pylab inline ``````Geohash``````hnswlib```库的导入 与 数据读取常见库的导入读取数据集共享的单车订单数据的聚合地图可视化按照经纬度聚合按照最近的经纬度潮汐统计方法1：Geohash匹配计算潮汐方法2：基于KNN密度匹配 赛题理解 赛题目的 通过对车辆数据的综合分析，对厦门岛内早高峰阶段潮汐点进行有效定位，进一步设计高峰期群智优化方案，缓解潮汐点供需问题。 赛题
DCIC2021-Task 1 赛题任务解析
小胖鸡的博客
02-20 422
系列文章目录 Task 1 赛题任务解析 Task 2 共享单车潮汐点分析 Task 3 共享单车潮汐点建议 Task 4 共享单车调度方案 Task 5 单车畅行友好度方案 文章目录系列文章目录任务分析赛题数据数据读取和理解数据解读baseline 任务分析 识别出工作日早高峰07:00-09:00潮汐现象最突出的40个区域 针对Top40区域计算结果进一步设计高峰期共享单车潮汐点优化方案 赛题数据 共享单车轨迹数据 共享单车停车点位（电子围栏）数据 共享单车订单数据 数据读取和理解 这里直接套
DataWhale DCIC task1
qq_42010186的博客
02-20 238
Task1 任务简介学习心得结果提交出现的bug 任务简介 学习心得 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 结果提交 使用sftp方式提交 ，这里采用指导书里的FileZilla软件提交 提交流程如图 出现的bug 一开始服务器始终显示连接失败╮(╯▽╰)╭ 如图 在群里问+百度也搜不到 无奈之下重建站点 Ok了 再把result文件拖到对应文件夹中即可 ...
DCIC Task3
weixin_43913783的博客
02-24 217
Table of Contents 1  EDA1.1  导入常用库1.2  数据概览1.2.1  地图可视化1.2.2  对停车点的识别与聚合1.2.3  潮汐状态可视化1.2.4  停车点优化 EDA 导入常用库 import os, codecs import pandas as pd import numpy as np %pylab inline '''
DCIC-task01
体重51.00
02-19 206
报名完成并下载数据后，可以根据教程https://coggle.club/learn/DCIC2021/ 开始动手实践啦！ 同时，课程设计者还贴心地为大家录制了视频，在上述链接可以观看，也可以直接点击链接https://www.bilibili.com/video/BV1Af4y1C7fv?zw 观看~ 在课程进行过程中（21号左右），鱼佬还将根据大家的学习情况进行一场课程相关的直播！到时我会在群内发布公告通知大家！ 本次学习共有4个tasks，学习时间为2月18日~2月26日，共9天； 任务安排 开营时
Task 0 DCIC初探
小胖鸡的博客
09-07 238
学习主题 比赛链接：https://data.xm.gov.cn/opendata-competition/index.html#/ 算法分析真实场景：A城市巡游⻋与网约⻋运营特征对比分析 ＃＃问题陈述 因为在境外，没有及时收到验证码，直到今晚才解决 目前的情况是大致过了一眼数据集，预处理的时候需要注意下空字符串 ...
数据挖掘实践DCIC：Task1打卡
qq_42036540的博客
02-19 86
数据挖掘实践DCIC：Task1打卡赛题理解Baseline运行提交结果 赛题理解 为更好地掌握早高峰潮汐现象的变化规律与趋势，参赛者需识别出工作日早高峰07:00-09:00潮汐现象最突出的40个区域，列出各区域所包含的共享单车停车点位编号名称，并提供计算方法说明及计算模型，为下一步优化措施提供辅助支撑。 Baseline运行 安装hnswlib包时失败，需要下载VS C++的新版。 使用folium包进行电子围栏可视化操作时，需注意数据格式，转换为列表才能marker在地图上。 程序运行中的错误需仔细查
DCIC2021-Task1-装工具跑代码
weixin_44535673的博客
02-20 555
菜鸡的第一天~ 从合肥忙忙碌碌回到滁州， 又去和女朋友一家吃了个饭， 再回来休息休息… 终于12点了想起来DCIC组队学习打卡提前了！！！（绝不是冒犯六一大佬￣へ￣） 赶紧忙活忙活，终于在1点做完，来写Task1的总结 快乐的复制代码 感谢@阿水 大佬提供的baseline，赶时间，明天再详细看。 简单的复制，极致的享受，10分钟完成了DCIC 2021，可喜可贺~ 愉快的解决困难 大佬果然都在用Linux，菜鸡用Windows抄代码的首要障碍就是路径要改成双斜杠，因为单斜杠是转义符，识别不了：
DCIC2021学习笔记 - TASK 2 结果提升
Hoo的学习记录
02-27 325
采用建议库函数结果为17.4530. 经过KNN结果为17.51，提升不大。 尝试调研滴滴出行调度方案后修改结果。
【数据分析进阶】DCIC竞赛-task1 数据读取
一一xi的博客
09-10 727
【数据分析进阶】DCIC竞赛-task1 数据读取学习目标赛题介绍赛题思路赛题数据数据读取pandas介绍numpy介绍读取代码课堂任务 学习目标 下载数据集并理解赛题具体的背景 理解并书里清楚赛题的任务 完成赛题数据的读取 赛题介绍 赛题名称：A城市巡游车与网约车运营特征对比分析 赛题说明：出租车作为城市客运交通系统的重要组成 部分，以高效、便捷、灵活等优点深受居民青睐。出租车每天的运营中会产生大量的上下车点位相关信息，对这些数据进行科学合理的关联和挖掘，对比在工作日以及休息日、节假日的出租车
DCIC赛事-task01-共享单车潮汐算法分析题任务解析、内容介绍与pandas读取数据
weiphm的博客
02-19 1710
本文为2021年DCIC赛事之共享单车潮汐算法分析 task01：题目解析+pandas读取数据 题目解析 算法分析题——早高峰共享单车潮汐点的群智优化 潮汐：即自行车的“借还”存在特定时间段的波峰波谷现象。在城市下班的早、晚高峰“借不到、还不进”，由此造成的不便利和公共资源浪费。 任务一：首先利用给出的数据识别出早上7-9点潮汐现象最突出的40个区域，要求给出各区域所包含的共享单车停车点位编号名称，并提供计算方法说明及计算模型 任务二：根据任务一得到的40个区域，设计高峰期共享单车潮汐点优化方案：过主
Datawhale——城市管理大数据算法模型（DCIC）专题组队学习——task01
qq_43526989的博客
02-19 496
运行时候遇到的问题与解决方法 安装folium后无法import——更换python的kernel后可以import，怀疑是之前的环境里装了太多？ 安装geohash后无法import——找到库将Geohash改为geohash，修改文件夹下的init.py文件中的from geohash—>from .geohash 如下报错 将for循环里的 folium.Marker( data[0, ::-1] ).add_to(m) 改为 folium.Marker( locati.
Gartner发布CISO人工智能安全指南：将AI安全治理融入所有网络安全治理体系CISO_Edge_Cybersecu_833542_ndx.pdf
12-08
Gartner发布CISO人工智能安全指南：将AI安全治理融入所有网络安全治理体系CISO_Edge_Cybersecu_833542_ndx.pdf
基于VSC的MVDC微电网(±10kV)转换器的互连通过等效RL电缆模块实现,此外，在电缆侧引入了P2P故障（Simulink仿真实现）
12-08
基于VSC的MVDC微电网(±10kV)转换器的互连通过等效RL电缆模块实现,此外，在电缆侧引入了P2P故障（Simulink仿真实现）
049脑筋急转弯看图猜地名游戏.pptx
12-08
049脑筋急转弯看图猜地名游戏.pptx
基于SSM的旅游热点推荐系统的设计与实现源码.zip
12-08
基于SSM的旅游热点推荐系统的设计与实现源码.zip
遗传算法找到形状描述符之间的最佳协调.zip
最新发布
12-08
1.版本：matlab2014a/2019b/2024b 2.附赠案例数据可直接运行。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
基于matlab瞬态三角哈里斯鹰算法TTHHO多无人机协同集群避障路径规划（目标函数：最低成本：路径、高度、威胁、转角）（Matlab代码实现）
12-08
基于matlab瞬态三角哈里斯鹰算法TTHHO多无人机协同集群避障路径规划（目标函数：最低成本：路径、高度、威胁、转角）（Matlab代码实现）
Gartner发布AISOC智能体创新洞察：AISOC智能体的四种部署方法和八个常见应用场景Innovation_Insight__837043_ndx.pdf
12-08
Gartner发布AISOC智能体创新洞察：AISOC智能体的四种部署方法和八个常见应用场景Innovation_Insight__837043_ndx.pdf
2023 DCIC欺诈风险识别：Top1策略解析
"2023 DCIC欺诈风险识别 Top1方案！这是一份关于kaggle竞赛的数据分析和解决方案，由ZLab数据实验室的作者橘子味盐汽水分享。该竞赛的目标是利用金融科技和大数据，构建涉赌涉诈账户识别模型，以提升风险监测能力。...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值