千万级数据处理
关注
分享
扫一扫
Jlins
不知不觉已经工作6年了.
展开
-
java千万级别数据处理(2)-千万级别FTP下载
这个也是以前做过的一个程序，目的主要是去ftp主机(最多100左右)去取xx数据文件. 千万级别只是个概念，代表数据量等于千万或者大于千万的数据 本分享不牵扯分布式采集存储之类的.是在一台机器上处理数据，如果数据量很大很大的话，可以考虑分布式处理，如果以后我有这方面的经验，会及时分享的.1、程序采用的ftp工具， apache 的 commons-net原创 2012-04-23 10:55:11 · 29594 阅读 · 11 评论 -
java千万级别数据生成文件思路和优化
iteye/csdn 个人原创，转载请标明出处 一年前写过一个百万级别数据库数据生成配置xml文件的程序,程序目的是用来把数据库里面的数据生成xml文件.程序可以配置多少文件生成到一个文件中去. 程序刚开始设计的时候说的是最多百万级别数据，最多50W数据生成到一个xml文件里面去,所以在做测试的时候自己也只是造了100W的数据并没有做过多数据量原创 2012-04-19 16:40:46 · 6373 阅读 · 5 评论