MongoDB 和 PolarDB 加载数据数据测试的情况记录报告

mongodb 和 polardb 加载数据数据测试的情况记录报告

2 个 mongos 每个的配置为：2 核 4 GB

总共有 8 个 shard，每个 shard 配置为 4 核 8 GB

数据量：20 亿左右

字段	字段类型	字段含义
did	string	数盟 1 代 ID
mac__addr	string	MAC 地址
imei	string	国际移动设备身份码的缩写
bluetooth	string	蓝牙 MAC
serial	string	序列号
sysbootid	string	系统 ID 每次重启机器会变
android__id	string	Android id
ro_product_manufacturer	string	厂商小写
manufacturer	string	厂商大写
ro_product_brand	string	品牌
brand	string	品牌
ro_product_model	string	机型
model	string	机型
iccid	string	集成电路卡识别码
imsi	string	国际移动用户识别码
gsm_operator_numeric	string	运营商
root	string	设备是否 root
cpu_abi	string	主板信息
ro_build_fingerprint	string	rom 信息
create_date	string	设备首次上报时间
recent_report_date	string	最新的上报时间
tmp_unique_id	string	临时唯一 ID
rule1	bigint	MAC 厂商合规标记
rule2	bigint	IMEI 厂商合规标记
imsi_rule	bigint	imsi iccid 运营商合规,-1 不可用；1 合规，0 不合规
manu_rule	bigint	厂商大小写合规,-1 不可用；1 合规，0 不合规
ro_manu_rule	bigint	ro product manufacturer 合规标记
mac_rule	bigint	MAC 合规标记
sd_rule	bigint	sd_cid 合规标记
bd_rule	bigint	bd_deviceid 合规标记
imei_rule	bigint	IMEI 合规标记
blue_rule	bigint	蓝牙 MAC 合规标记
serial_rule	bigint	serial 合规标记
sys_rule	bigint	sys boot id 合规标记
id2	string	2 代 id
type	string	设备状态：same,not_same,un_judge
status	string	设备标记，碰撞，无法判清，非多发非碰撞，多发碰撞，多发等
id2_online	string	线上二代 ID

分片索引：

从上图可以看出，第一个小时入数的速度还是很快的，在前 4 个小时的下降是最快的，前 5-15 个小时比较快的下降，15 个小时以后下保持一个比较平稳的状态，下降的速度很缓慢了。cpu 最高 80% 左右，内存最高 60% 左右，因为有线上正式业务，没把所有的资源都用到极限。

从以上可以看出，通过增加并发数据是没办法提供加载速度的，阿里云反馈，通过监控指标 cpu 已经到达 400% 了，后通过添加 cpu 来提高集群的能力

一种是通过 insert Many 的方式

insert into table_name (field1,field2) vaues (value1_1,value1_2),(value2_1,value2_2) 的方式。