Go最新海量数据处理的方法总结，Golang高级工程师进阶学习—Golang热修复原理

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

• （1）2.5亿个 int 类型 hash 到1024个小文件中 a0~a1023，如果某个小文件大小还大于内存，进行多级hash
• （2）将每个小文件读进内存，找出只出现一次的数据，输出到b0~b1023
• （3）最后数据合并即可

解决方案2 ： 2-Bitmap

如果内存够1GB的话，采用 2-Bitmap 进行统计，共需内存 2^32 * 2bit = 1GB内存。2-bitmap 中，每个数分配 2bit（00表示不存在，01表示出现一次，10表示多次，11无意义），然后扫描这 2.5 亿个整数，查看Bitmap中相对应位，如果是00，则将其置为01；如果是01，将其置为10；如果是10，则保持不变。所描完成后，查看bitmap，把对应位是01的整数输出即可。（如果是找出重复的数据，可以用1-bitmap。第一次bit位由0变1，第二次查询到相应bit位为1说明是重复数据，输出即可）

二、Trie树+红黑树+hashmap

Trie树、红黑树 和 hashmap 可以认为是第一部分中分而治之算法的具体实现方法之一。

其中，Trie树适合处理海量字符串数据，尤其是大量的字符串数据中存在前缀时。Trie树在字典的存储，字符串的查找，求取海量字符串的公共前缀，以及字符串统计等方面发挥着重要的作用。

• 用于存储时，Trie树因为不重复存储公共前缀，节省了大量的存储空间；
• 用于以字符串的查找时，Trie树依靠其特殊的性质，实现了在任意数据量的字符串集合中都能以O(len)的时间复杂度完成查找（len为要检索的