利用MongoDB 分片集群（Sharded Cluster）实现高性能大数据处理

一、前言

考虑这样一个场景，有个数据量有10多亿数据的设备库，里面存放了注册的设备的信息，并且设备数据还可能会递增，然后业务集群需要对指定条件的设备群发信息，那么如何才能高效的来处理这个问题那？

二、思考

2.1 离线分析

为了不影响在线业务，以往需要把一份数据进行多次复制来分别进行业务交易和数据分析的问题，也就是业务交易的数据是在原来的库，而数据分析是通过手段把原来库数据定时同步到另外的存储设备离线分析。上面所说消息群发设备就可以使用这种方式，首先全量把数据同步到另外的存储设备，然后在定时把原来库里面的新数据增量到存储设备。

2.2 离线库

2.2.1 阿里云产品mondb介绍

对于存储设备可以选择阿里云产品MongoDB，原因是MongoDB 分片集群(Sharded Cluster)通过将数据分散存储到多个分片(Shard)上来实现高可扩展性。实现分片集群时，MongoDB 引入 Config Server 来存储集群的元数据，引入 mongos 作为应用访问的入口，mongos 从 Config Server 读取路由信息，并将请求路由到后端对应的 Shard 上。下面看下原理图

<