
大数据量
wbj0110
这个作者很懒,什么都没留下…
展开
-
Netlog中数据库演变过程(转载)
Netlog拥有4000万活跃用户,每个月有超过5000万的独立用户访问网站,每个月有5亿多的PV。数据量应该算是比较大的。作者是Jurriaan Persyn,他从一个开发者角度而非DBA或者SA角度来谈Netlog是如何通过数据切分来提高网站 性能,横向扩展数据层的 第一阶段:读写同在一台数据库服务器 第二阶段:读写分离(可以解决读写比例均衡或者读居多的情况,但...原创 2013-11-14 09:52:06 · 204 阅读 · 0 评论 -
在集群上支持数据库大数据量导出
80w行的数据导出 数据库表(经过程序处理)导出一般使用EXCEL文件,技术一般有POI、JXL、FastExcel。但是当文件过大(几十个字段,行数超过200,000)的时候,往往会出现内存溢出OutOfMemery,这个是应用无非承受的。 对于导出这么大量的数据,一般没有实时性的要求,也没有外观的要求。 业务部分的需求一般是:导出80W行数据,不管是什么,最后能变化成EXCEL即可。...原创 2013-11-23 18:45:41 · 171 阅读 · 0 评论