本文探讨了处理每天1亿条记录的数据存储问题，提出平均每秒写入1157.5条数据，峰值为11575条。建议使用高速SSD磁盘的数据库服务器集群，实施读写分离，主备同步，并通过分区、分表策略优化表结构。此外，推荐批量写入与缓存策略以提升效率。
一天秒数：60*60*24=86,400秒
每天写入数据量：100,000,000条
平均每秒写入数据量：100,000,000/86,400=1157.5条
峰值每秒估算写入数：1157.5*10=11575条
因此建议从以下几个层面处理
1、数据库服务器磁盘采用高速SSD磁盘
2、数据库采用2个节点的集群方式部署，每个集群节点3台服务器，1主2备，主数据库为写数据库，备数据库为读数据，采用读写分离，单集群节点内主备库数据实时同步，集群节点主库数据实时同步
3、数据表设计采用分区、分表方式设计表结构
4、数据写入采用单事务批量写入的方法新增数据
5、在关键字段建立索引，提高查询效率
6、第一次查询后将数据缓存到radis中，方便下次查询
扫一扫
1765
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
