40亿数据Map插入

07H_JH

于 2016-05-17 10:50:24 发布

阅读量1.3k

点赞数

分类专栏：大数据框架文章标签： java

大数据框架专栏收录该内容

107 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文通过实验对比了Java中不同Map实现（TreeMap, HashMap, MapDB）在插入大量数据时的性能和内存利用率。结果显示，MapDB在非堆内存模式下，经过优化后可以处理超过30亿条记录，甚至在启用额外压缩的情况下，仍能存储约6亿条随机序列的记录，表现出优于基于堆的集合的性能。" 109764942,9035042,使用Logstash与MySQL数据同步实战,"['数据同步', 'Logstash', 'MySQL', 'Elasticsearch', '数据库管理']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原文：
http://kotek.net/blog/3G_map
思考Java中内存管理的问题，以及Java集合对内存使用的效率情况。我做了一个简单的实验，测试在16G内存条件下，Java的Map可以插入多少对象。这个试验的目的是为了得出集合的内部上限。所以，我决定使用很小的key和value。所有的测试，都是在64w位linux环境下进行的，操作系统是ubuntu12.04。JVM版本为Oracle Java 1.7.0_09-bo5 (HotSpot 23.5-b02)。在这个JVM中，压缩指针(compressed pointers(-XX:+UseCompressedOops))的选项是默认打开的。
首先是简单的针对java.util.TreeMap的测试。不停向其中插入数字，直到其抛出内存溢出异常。JVM的设置是-xmx15G

import java.util.*;   
Map m = new TreeMap();  
for(long counter=

了解本专栏

超级会员免费看