关于千万级别 set 的去重
REFhttp://hunkshi.github.io/2015/06/09/2015-06-09-python-huge-set-operation/场景需要分别从 mysql 和 mongodb 中取出 id,比较两者的差异。将已经不存在与 mysql 中的 id 从 mongodb 中删除问题在使用 set 的时候内存占用过大, 在使用 np.setdiff1d(s, t, ass...
原创
2019-05-14 09:07:43 ·
547 阅读 ·
0 评论