做百度的大数据比赛,想本地跑跑数据看看做的策略,user那个表有2000多w的购买关系,也就800M。没有排序,挺烦,还是一行一行的长短不一,写排序也不方便。
干脆放mysql里让它排序去吧,排完了我再输出。
然后就是许久的抗战,先是怕select太慢,建了个索引,速度还凑合。
后来JVM放不下这么大数据,开1.5G内存,数据库读取也压缩压缩,ok。
最后,我服了我的电脑了,严重怀疑是系统文件管理出问题了,分明还有10G的C盘空间,你给我弹这个。。
我还是换台式机玩这个吧。
Exception in thread "main" java.sql.SQLException: Error writing file 'C:\Windows\SERVIC~2\NETWOR~1\AppData\Local\Temp\MYE95C.tmp' (Errcode: 28 - No space left on device)
参与百度大数据竞赛过程中,尝试使用MySQL处理包含2000多万条购买记录的数据集,遇到内存不足及磁盘空间问题,最终决定更换设备继续实验。
989

被折叠的 条评论
为什么被折叠?



