mysql 性能问题的解决

最新推荐文章于 2021-02-18 02:26:36 发布

转载最新推荐文章于 2021-02-18 02:26:36 发布 · 215 阅读

文章标签：

#数据库

针对每10秒遍历1000个设备产生的864万条记录，原策略效率低下，通过改进数据处理方式，采用每小时求平均值并批量写入数据库的方法，显著提升了处理速度。同时，通过搜索所有distinct domainid和devicecode，进一步优化了数据处理流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

场景：
模拟一天的数据，每个10秒，遍历1000个设备，每个设备模拟一个实时数据，总的数据量为：24*60*60/10*1000 = 864万条记录。
---------------------------------------------------------------------------------------------------------------------
策略：对时间分段，拼接sql语句查询。
1、对一个设备，求一天每小时的平均值，时间开销3分钟。
2、对domainid+devicecode+eventtime建立索引，时间开销10秒。
---------------------------------------------------------------------------------------------------------------------
上述策略，效率太差。修改为每小时对所有设备的数据求平均值，写入数据库。
1、每小时，根据domainid+devicecode分组，求出每个设备的平均值，使用group 分组，发现效率也太差。
2、搜索出所有的distinct domainid, devicecode，遍历游标逐个去求平均值效率就很高了。写入数据库的时候，使用事务批量写入。