
性能优化
文章平均质量分 71
chlaws
希望身体健康
展开
-
使用union避免map复制结构体降低效率
使用union 关联long long 和一个struct中的2个32位的int,传递map则使用long long,在取出的使用的时候则使用结构体正常使用,避免海量数据处理时map拷贝结构体降低效率原创 2011-04-07 16:46:00 · 1978 阅读 · 0 评论 -
使用hbase自带工具测试读写速率
性能测试结果 hbase/bin/hbase org.apache.hadoop.hbase.PerformanceEvaluation sequentialWrite 1org.apache.hadoop.hbase.PerformanceEvaluation$SequentialWriteTest in 66382ms at offset 0 for 1048576 rows原创 2011-12-29 16:52:50 · 12285 阅读 · 4 评论 -
优化hbase的查询操作-大幅提升读写速率
环境:suse 8G内存,8核,12T磁盘 hbase master 占一台,其他7台作为hbase的region server注意:此处不讨论hadoop情景: 我们有7亿的数据,需要做查询操作,需要从1.7亿的表中查找一个字段,并写入到7亿数据的表中。 这里为了描述方便,将7亿数据的表称为:A表,1.7亿数据的原创 2011-12-30 17:30:07 · 13683 阅读 · 1 评论 -
libeio性能测试
前言: 之前搜了一下,貌似没有关于libeio的读写性能测试的数据,因此直接写了个测试程序去测试下。写的没去试,接口都有,有需要可以自己去填下。关于libeio: 这个是库Marc Lehmann写的,关于这个大牛,有兴趣的可以去搜搜。关于测试: 测试环境我分别用ABC表示,采用随机读取文件中的某个位置开始的一定长度原创 2012-07-10 15:18:03 · 3067 阅读 · 0 评论