第一次天池大数据,广东客流竞赛

最新推荐文章于 2020-12-23 22:34:07 发布
最新推荐文章于 2020-12-23 22:34:07 发布
阅读量3.3k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据竞赛
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/fyjthcy/article/details/50129939
本文介绍了一个交通预测项目的实施过程，包括数据预处理、特征选择、模型建立与验证等步骤，并对比了不同方法的效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

排名 168，成绩72.93% 第一名82.9%

训练数据
1 得到数据后导入数据库
2 统计数据中各个时段和各个线路的count数目 数据由一千万变为一万以内
3 统计6-21时的数据 数据条目再次降到5000左右
天气数据
4 表中的年月日进行字符规整 替换成同一模式 为了和训练数据表结合
5 天气表中的中文字符进行数值化 这一过程很关键 作为数据输入部分会有很大影响！！！
结合
6 训练数据表和天气数据表进行结合筛选
7 进一步规整train_data和train_label 以及test_input数据 
8 导出数据库 导出为txt文件
9 读入 matlab或是python进行算法验证 得到结果result_label 
10 result_label导入数据库合成想要的表再导出
11 提交


方法
1 第一天 将所有数据进行多元线性回归做法 并不合适
2 第二天 将方法改为回归树进行预测结果效果并不好 因为是在所有的数据基础上进行的操作
3 第三天 将数据进行分时段预测 分别预测出6-21时16个时段的人流量 去除了路线特征
4 第四天 将数据进行节假日判断 分别预测 并且看到冬令时和夏令时的可能影响 分别训练求解

记广东公共交通大数据竞赛—— 公交线路客流预测
三星堆
11-30 5859
——最终准确率 76.99% ——排名 83/2734 ——代码: https://github.com/francis7999/gd_line_pop_predict 最后的成绩有欣慰也有不足，第一次参赛的我本该满足于前5%的排名，但想到参赛期间有一大半的天数都为其他的事情焦头烂额，没有做任何改进，总是不由感慨本可以取得更好的成绩。力学出身的我，此前从未想到研究生会去做语音识别方向。
阿里天池大数据竞赛——口碑商家客流量预测 A1
piemonsparrow的博客
02-15 4402
阿里天池大赛koubeiyuce1 2017年二月份，天池大数据比赛，口碑商家客流量预测，参赛地址及详情： https://tianchi.shuju.aliyun.com/competition/introduction.htm?spm=5176.100066.333.4.WhLsGZ&raceId=2315911、首先下载数据集，数据集中包含丰富的商家信息。项目的主要目的是根据每个商以往的使
TimeSeriesPrediction:天池智慧交通预测挑战赛解决方案
05-12
天池智慧交通预测挑战赛解决方案 本博客分享新人第一次参加天池比赛的实况记录，比较完整地给出了数据预处理，缺失值补全，特征分析过程以及训练和交叉验证的注意事项，适合数据挖掘新人找到解题思路，全程没有调参，没有模型融合，只凭一手简单的特征和xgboost，最后止步41/1716，基本上可以作为时间序列预测类的比赛的baseline．完整代码在 （ps. 不是我不调参，不融合模型，是以现在的特征即使做了这些，提高也不会很大，所以还是特征的问题，可能太简单了） preprocess.py: 数据预处理（类型转换，缺失值处理，特征提取） xgbosst.py: 训练模型和交叉验证 1. 数据和题目说明 这个比赛的目标是提供一些路段流量的历史信息, 以此来预测未来一段时间的交通流量, 提供的数据一共有3个表: link_info, link_tops 和travel_time. 分别如下所示: lin
天池公交客流预测比赛
weixin_30507481的博客
04-08 1340
赛题与数据 竞赛题目 本次大赛要求选手根据广州市内及广佛同城公交线路的历史公交刷卡数据，挖掘固定人群在公共交通中的行为模式。建立公交线路乘车人次预测模型，并用模型预测未来一周（20150101-20150107）每日06时至21时每小时段各个线路的乘车人次。Part2将更换一批新数据。 大赛开放20140801至20141231五个月广东部分公交线路岭南通用户刷卡数据，共涉及近200万用户2...
天池客流预测–GBDT
12-22 1775
前记 之前有参加天池的比赛，后面也会分享这个代码，用到过sklearn重的GBDT这个工具，效果还很不错，但是其实一直没有对它的原理搞通，最近花了点时间，好好研究了下GBDT这个东西，感觉很有意思。 基本介绍 有这样一个场景，训练集只有4个人，A，B，C，D，他们年龄分别是14，16，24，26，其中A、B分别是高一与高三的学生；C，D分别是迎接毕业生和工作两类的员工。如果使用传统的回归决策
天池—广东政务数据创新大赛—智能算法赛总结
opencv_857310866的博客
11-14 1587
天池--广东政务数据比赛总结
天池大数据竞赛数据集&代码.zip
01-14
此外，学科竞赛是提高学生综合能力的一种途径。竞赛项目通常会涉及到理论知识、实际操作和创新思维等多个方面，要求参赛者具备全面的素质。在竞赛过程中，学生不仅需要展现自己的专业知识，还需要具备创新意识和解决...
天池大数据竞赛数据集.zip
01-28
【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目，作为参考资料学习借鉴。...天池大数据竞赛数据集.zip
天池大数据竞赛LSTM预测算法分享
09-28
在本项目中，我们主要探讨的是利用大数据和LSTM（Long Short-Term Memory，长短期记忆网络）模型参与天池大数据竞赛，特别是针对a股公司营收的预测问题。以下是相关知识点的详细说明： 1. **大数据**：大数据是指...
天池大数据竞赛-新浪微博互动预测大赛第一赛季参赛源码（下载即用）
最新发布
12-29
新浪微博互动预测大赛第一赛季参赛源码（下载即用）天池大数据竞赛-新浪微博互动预测大赛第一赛季参赛源码（下载即用）天池大数据竞赛-新浪微博互动预测大赛第一赛季参赛源码（下载即用）天池大数据竞赛-新浪微博...
天池大数据竞赛数据集&代码.zip
09-11
2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合；...
大数据竞赛题目与数据集
01-24
针对民航运输行业大数据应用场景的大数据比赛题目和提供数据集
TIanChi_Traffic_Competition:阿里天池智慧交通预测挑战赛-Top7 1716队
05-14
TIanChi_Traffic_Competition 阿里天池智慧交通预测挑战赛 #@创建于2017-9 #@Author：lieying #@School:USTB #@E-mail: 复赛：Top7 /1716队 #---- 此算法为智慧交通预测挑战赛复赛程序 1、先运行sub_handle.py生成提交样本，然后运行link_top_process.py生成道路基本信息。 （@@@最重要的的是get_feat_XGBmodel.py这个文件用于提取特征，写了相应的函数，直接调用。） 2、先运行get_feat.py进行划分数据集 3、运行get_feat_2016_7.py和get_feat_2017_3.py进行提取2016年的七月和2017年的3月 4、然后运行main.py进行提取和去除噪点。然后送入XGBoost和lightgbm模型进行训练得到四个模型的结果，然后融合处理
阿里巴巴大数据竞赛
01-05
AliDMCompetition 阿里巴巴大数据竞赛（http://102.alibaba.com/competition/addDiscovery/index.htm ） 数据说明 提供的原始文件有大约4M左右，涉及1千多天猫用户，几千个天猫品牌，总共10万多条的行为记录。 用户4种行为类型(Type)对应代码分别为： 点击：0 购买：1 收藏：2 购物车：3 提交格式 参赛者将预测的用户存入文本文件中，格式如下： user_id \t brand_id , brand_id , brand_id \n 上传的结果文件名字不限(20字以内)，文件必须为txt格式。 预测结果 真实购买记录一共有3526条 TODO 注意调整正负样本比例 在LR的基础上做RawLR。按照天猫内部的思路来。 在LR的基础上做MRLR，样本提取要更加合理。 在UserCF和ItemCF上加上时间因子的影响。 利用UserCF做好的用户聚类、ItemCF做好的品牌聚类来做细化的LR，或者在聚类 上做LFM 在ItemCF的思路上挖掘频繁项集/购买模式，如购买品牌A和商品后往往会购买 品牌B的商品 LFM 数据集特征 某一商品在购买前的一段时间内会出现大量点击次数，购买完成后的一段时间内也会出现大量点击次数 用户在本月有过行为的商品极少出现在下个月的购买列表里 根据观察推断：用户浏览商品的行为可分为两类： 无目的浏览，可能会在浏览过程中对某些中意的商品进行购买，数据表现为有大量点击次数<=2的行为记录，但很少有购买行为 有目的的查找商品，可能是事先有需求的情况，数据表现为一段时间内点击商品数很少， 但点击过的商品大多数都进行了购买 参考论文 See https://www.google.com.hk/search?q=data+mining+time+series&ie=utf-8&oe=utf-8&aq=t for more. Chapter 1 MINING TIME SERIES DATA - ResearchGate 模型列表 LR(model=LinearSVC(C=10, loss='l1'), alpha=0.7, degree=1) | TOTAL VISITED BOUGHT FAVO CART NEW | Pred # 1438 1436 626 71 12 | % 100% 99.861% 43.533% 4.937% 0.834% | Real # 1311 250 89 10 1 | % 100% 19.069% 6.789% 0.763% 0.076% Hit # 76 Precision 5.285118% Recall 5.797101% F1 Score 5.529283% LR(model=LogisticRegression(penalty='l1'), alpha=0.7, degree=1) | TOTAL VISITED BOUGHT FAVO CART NEW | Pred # 1472 1470 615 68 14 | % 100% 99.864% 41.780% 4.620% 0.951% | Real # 1311 250 89 10 1 | % 100% 19.069% 6.789% 0.763% 0.076% Hit # 74 Precision 5.027174% Recall 5.644546% F1 Score 5.318002% 这个模型在数据变成2次后，Precision ~ 16%，同时F1 ~ 3% LR(model=Perceptron(penalty='l1'), alpha=0.7, degree=1) | TOTAL VISITED BOUGHT FAVO CART NEW | Pred # 3145 3140 1023 130 26 | % 100% 99.841% 32.528% 4.134% 0.827% | Real # 1311 250 89 10 1 | % 100% 19.069% 6.789% 0.763% 0.076% Hit # 113 Precis
[天池竞赛系列]IJCAI-17 口碑商家客流量预测冠军思路
热门推荐
Bryan__的专栏
08-20 1万+
题目链接：https://tianchi.aliyun.com/competition/introduction.htm?spm=5176.100066.0.0.773ef42fw2ednG&amp;raceId=231591   代码链接： https://github.com/YouChouNoBB/ijcai-17-top1-single-mole-solution     ...
Centos下安装Anaconda及tensorflow
追忆的博客
03-25 599
参考：https://www.jianshu.com/p/0c4c195b02fchttps://hacpai.com/article/1496391186149http://www.laozuo.org/9687.htmllsb_release -acentos 6.3以下就算了，装不上 wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/arc...
Day2-机器学习分类算法-阿里云天池
lingling186的博客
12-23 319
分类算法 目标值:类别 1.sklearn转换器和预估器 2.KNN算法 3.模型选择与调优 4.朴素贝叶斯算法 5.决策树 6.随机森林 3.1 sklearn转换器和预估器 转换器 估计器(estimator) 3.1.1 转换器 1.实例化(实例化的是一个转换器类(Transformer)) 2.调用fit_transform(对于文档建立分类词频矩阵,不能同时调用) 标准化: (x - mean) / std fit_transform fit() 计算 每一列的平均值、标准差 transfor
An AI compute of cities based on Distributed-Platform and Distributed-Databases(天池地铁流量预测)
Clearlove灬Star
06-06 5010
摘要 在日益城市化的今天，城市居民出行问题逐渐成为衡量一个城市现代化能力的标准；城市出行方式多元化的同时，也对各交通系统的调度运营能力提出了更高的要求：如何提高运营效率，如何运用有限的安保力量进行有效的安检部署等问题一直在阻挠着城市交通的发展。 An AI compute of cities based on Distributed-Platform and Distributed-Databas...
干货！如何用 Python+KNN 算法实现城市空气质量分析与预测？
优快云资讯
07-06 9533
作者 |李秋键责编 | 伍杏玲封图 | 优快云 付费下载自东方 IC出品 | 优快云（ID：优快云news）随着中国工业和科技的发展，中国的一些发达城市的空气质量问题变得越来越严...
天池大数据竞赛：算法源码及PPT解析
综上所述，从“天池大数据竞赛资料（代码和ppt）”这一标题和描述中，我们可以了解到这是一个关于大数据竞赛的资料包，里面可能包含了移动推荐系统算法和资金流预测的具体实现源码，以及相关的PPT讲解资料。...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值