MongoDB 如何对嵌套子文档分组去重计算

MongoDB 嵌套子文档去重计算与集算器解决方案

原创

于 2021-09-01 10:23:32 发布 · 453 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#mongodb #数据库 #去重计算

本文介绍了如何在MongoDB中处理嵌套子文档的去重计算问题，特别是针对一对多关联关系的数据。通过$group、$unwind和$addToSet操作，结合集算器的使用，简化了复杂的数据处理过程，实现了对子文档fundcode的去重计数。集算器提供JDBC接口，方便与Java集成，解决字段结构不一致时的数据格式化问题。

MongoDB的数据存储使用嵌套结构非常普遍，它通过嵌套子文档，实现一对多的关联关系。但嵌套结构分组进行子文档去重数据计算时，常需要将嵌套结构提升为扁平结构，再通过 $group 聚集运算来实现。
下面以集合 fund 为例说明，按 id 分组获取 shares、trade 子文档下的不重复 fundcode 数量。具体数据如下：

{
"id" : 1, "shares" : [ { "fundcode" : "000001", "lastshares" : 1230.2, "agencyno" : "260", "netno" : "260" }, { "fundcode" : "000002", "lastshares" : 213124, "agencyno" : "469", "netno" : "001" }, { "fundcode" : "000001", "lastshares" : 10000.8, "agencyno" : "469", "netno" : "002" } ], "trade" : [ { "fundcode" : "000001", "c_date" : "20180412",

"agencyno" : "260",
"netno" : "260","bk_tradetype" : "122", "confirmbalance" : 1230.2, }, { "fundcode" : "000002", "c_date" : "20180506", "agencyno" : "469", "netno" : "001", "bk_tradetype" : "122", "confirmbalance" : 213124, }, { "fundcode" : "000003", "c_date" : "20190502", "agencyno" : "469", "netno" : "002", "bk_tradetype" : "122", "confirmbalance" : 10000.8, "netvalue" : 1, } ]} …….