xiaofeiyu321的博客

       2020年的C题是一道典型的数据分析的题目，基于大数据分析处理进行相关建模。对于这道题而言，最难之处莫过于各个数据项关系的梳理总结，以及对数据的挖掘建模。网上很多大神给了很多高级的方法（深度学习、神经网络等）。其实作为小白，很多参赛的同学并不了解这方面的算法，以及背后的数学原理，很多人指望一两个高级算法就能解决问题...

文章目录1 前言2 数据预处理2.1 数据文件的分割2.2 数据文件的去重3 问题一的求解3.1 数据提取3.2 去除数据异常值3.3 数据格式化3.4 数据集的插值3.5 ARIMA模型进行短期预测1 前言2021年MathorCup大数据挑战赛A题是个十分典型的大数据类赛题，赛题所给数据文件超大，常规Excel只能部分显示（Excel只能显示1048576行），文件大小8.61GB。如果采用python直接读入的话，整个程序会卡死；Matlab导入同样也会卡住；利用数据库读入，直接报错空间不足。