每天入库100W数据也不是问题,入库还不大会体现出耗时问题。
主要还是要考虑入库后,在数据统计运算上面的问题,单台SERVER的话,无非还是处理好分表、索引、关联查询、MYSQL配置优化等。
每天1亿+的话可以考虑使用:mysql cluster、hadoop等。
如果按这种进度,数据量很快就上亿。说实话这样的基础就算读写分离,mysql集群等等可能压力很大,建议是要不直接封存历史数据,要不就提前做好分表或者分区的策略,最好再配合redis在前面顶住,然后按点持久存储这样子,本人粗浅理解。
本文探讨了面对每日千万级数据量的入库问题,提出了一系列优化措施包括分表、索引优化及采用MySQL集群等方案,并讨论了使用新技术如mysqlcluster与hadoop的可能性。
每天入库100W数据也不是问题,入库还不大会体现出耗时问题。
主要还是要考虑入库后,在数据统计运算上面的问题,单台SERVER的话,无非还是处理好分表、索引、关联查询、MYSQL配置优化等。
每天1亿+的话可以考虑使用:mysql cluster、hadoop等。
如果按这种进度,数据量很快就上亿。说实话这样的基础就算读写分离,mysql集群等等可能压力很大,建议是要不直接封存历史数据,要不就提前做好分表或者分区的策略,最好再配合redis在前面顶住,然后按点持久存储这样子,本人粗浅理解。
1167
2120
1164

被折叠的 条评论
为什么被折叠?