前言
有很多终端设备和应用系统之间需要通信,设备将自身的一些指标数据定时发送到mq队列中,应用系统将这些数据从队列中取出并按照相关协议解析后更新mongodb数据库(保存实时数据更新 不保存历史数据)。终端设备发送的数据类型较多 短时间内数据量过大,对系统后台解析能力有一定要求。
由于短时间内数据量过大,一个队列一个消费者去监听,队列数据量过大,会导致消费者处理能力下降,从而影响整体系统性能。所以这里必然要采用多个消费线程去监听队列,保证同时并发处理数据。
数据库方面,mongodb支持高并发,这一点是关系型数据库无法媲美的,下面是找到的一些性能对别数据,可以看一看:

比较 MongoDB 与 MySQL 以及性能测试
MongoDB mysql 性能压测 1亿数据对比