Leveldb lmdb性能对比

最新推荐文章于 2025-03-14 16:17:36 发布
最新推荐文章于 2025-03-14 16:17:36 发布
阅读量5.5k 收藏 2
点赞数 2
分类专栏： 算法、技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wuhuaiyu/article/details/81068591
版权

格式有点乱，excle在
https://download.youkuaiyun.com/download/wuhuaiyu/10544805

测试机环境：
96G内存
433G*5SSD
内核：2.6.32_1-15-0-0
磁盘调度算法：noop

结论：
1. lmdb的数据膨胀率大约为leveldb的1.5-1.8倍之间，需与comdb对比
2. lmdb在单盘5M写入状态下仍能满足要求（leveldb不能）：
Percentile Latency(max latency):
[99% ]: 478(us)
[99.9% ]: 881(us)
[99.99% ]: 8500(us)

lmdb在用空间换时间方向比level对比走的更远。

测试条件 Leveldb Lmdb
4000W条 磁盘 92% key顺序递增 1920w条 87% key顺序递增
数据膨胀率 1.1G 1.86G
1. key长度32byte
2. value长度1024byte
3. 磁盘文件

拼命写状态： 问题：初始时，cache越来越大，qps越来越大，大约3分钟后，cache由10G变为3G，qps由2w下降到1W，进入稳定状态 问题：会有偶然大时延，数据文件不会发生改变，仅仅lock文件每3s更新一次。
（内存：free 22 ——————————————————————————————————————-
都是对一块磁盘进行读写。后续测试此项内容不变） ———————————————————————————————————————————————— avg-cpu: %user %nice %system %iowait %steal %idle
avg-cpu: %user %nice %system %iowait %steal %idle 1.92 0.02 8.44 43.05 0.00 46.57
5.38 0.00 18.18 49.28 0.00 27.16
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util sda 1.00 12.00 18.50 81.00 454.00 394.00 17.05 0.63 14.23 4.81 16.38 0.67 6.65
sda 0.00 9.00 0.00 40.00 0.00 196.00 9.80 0.04 0.88 0.00 0.88 0.09 0.35 sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdb 0.00 0.00 48425.00 0.00 193700.00 0.00 8.00 34.60 0.72 0.72 0.00 0.02 100.05 sdc 0.00 0.00 49269.00 363.50 197076.00 1454.00 8.00 37.28 0.75 0.75 0.79 0.02 98.95
——————————————————————————————— ——————————————————————————-
09:27:48 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle 09:26:54 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle
09:27:50 PM all 2.86 0.17 11.88 47.54 0.00 3.73 0.00 0.00 33.83 09:26:56 PM all 1.92 0.02 7.98 43.98 0.00 2.04 0.00 0.00 44.06
09:27:50 PM 0 6.03 0.00 21.11 28.14 0.00 44.72 0.00 0.00 0.00 09:26:56 PM 0 4.52 0.00 13.07 58.29 0.00 24.12 0.00 0.00 0.00
09:27:50 PM 1 3.98 0.00 15.92 72.64 0.00 0.00 0.00 0.00 7.46 09:26:56 PM 1 2.50 0.00 9.00 79.00 0.00 0.00 0.00 0.00 9.50
09:27:50 PM 2 2.99 0.00 15.92 67.66 0.00 0.00 0.00 0.00 13.43 09:26:56 PM 2 3.48 0.50 7.96 72.14 0.00 0.00 0.00 0.00 15.92
09:27:50 PM 3 3.02 0.00 15.08 64.32 0.00 0.00 0.00 0.00 17.59 09:26:56 PM 3 2.51 0.00 7.54 66.33 0.00 0.00 0.00 0.00 23.62
09:27:50 PM 4 2.00 0.00 12.00 59.50 0.00 0.00 0.00 0.00 26.50 09:26:56 PM 4 1.50 0.00 6.50 47.50 0.00 0.00 0.00 0.00 44.50
09:27:50 PM 5 2.50 0.00 11.00 54.00 0.00 0.00 0.00 0.00 32.50 09:26:56 PM 5 1.49 0.00 5.47 40.30 0.00 0.00 0.00 0.00 52.74
09:27:50 PM 6 6.00 0.00 21.50 27.00 0.00 45.50 0.00 0.00 0.00 09:26:56 PM 6 4.50 0.00 11.50 59.00 0.00 25.00 0.00 0.00 0.00
09:27:50 PM 7 3.52 0.00 16.58 74.37 0.00 0.00 0.00 0.00 5.53 09:26:56 PM 7 1.51 0.00 6.53 61.81 0.00 0.00 0.00 0.00 30.15
09:27:50 PM 8 3.50 0.00 15.00 70.00 0.00 0.00 0.00 0.00 11.50 09:26:56 PM 8 2.49 0.00 7.46 48.76 0.00 0.00 0.00 0.00 41.29
09:27:50 PM 9 3.00 0.00 12.00 65.00 0.00 0.00 0.00 0.00 20.00 09:26:56 PM 9 1.51 0.00 28.64 34.17 0.00 0.00 0.00 0.00 35.68
09:27:50 PM 10 4.02 0.00 14.07 50.75 0.00 0.00 0.00 0.00 31.16 09:26:56 PM 10 1.00 0.00 4.50 38.00 0.00 0.00 0.00 0.00 56.50
09:27:50 PM 11 3.00 0.00 11.00 49.00 0.00 0.00 0.00 0.00 37.00 09:26:56 PM 11 1.49 0.00 3.48 30.35 0.00 0.00 0.00 0.00 64.68
09:27:50 PM 12 5.47 0.00 25.87 67.66 0.00 0.00 0.00 0.00 1.00 09:26:56 PM 12 3.00 0.00 12.00 82.50 0.00 0.00 0.00 0.00 2.50
09:27:50 PM 13 1.01 2.01 3.52 21.61 0.00 0.00 0.00 0.00 71.86 09:26:56 PM 13 1.00 0.00 3.00 28.00 0.00 0.00 0.00 0.00 68.00
09:27:50 PM 14 0.50 0.00 2.01 13.07 0.00 0.00 0.00 0.00 84.42 09:26:56 PM 14 1.50 0.00 4.00 35.00 0.00 0.00 0.00 0.00 59.50
09:27:50 PM 15 1.00 0.00 3.00 16.00 0.00 0.00 0.00 0.00 80.00 09:26:56 PM 15 1.00 0.50 4.00 29.00 0.00 0.00 0.00 0.00 65.50
09:27:50 PM 16 2.48 0.50 6.44 40.10 0.00 0.00 0.00 0.00 50.50 09:26:56 PM 16 1.01 0.00 3.02 26.13 0.00 0.00 0.00 0.00 69.85
09:27:50 PM 17 1.49 0.00 6.47 37.81 0.00 0.00 0.00 0.00 54.23 09:26:56 PM 17 0.50 0.00 8.50 44.00 0.00 0.00 0.00 0.00 47.00
09:27:50 PM 18 5.53 0.50 23.12 69.35 0.00 0.00 0.00 0.00 1.51 09:26:56 PM 18 4.02 0.00 11.06 77.39 0.00 0.00 0.00 0.00 7.54
09:27:50 PM 19 1.99 0.00 7.46 43.78 0.00 0.00 0.00 0.00 46.77 09:26:56 PM 19 1.49 0.00 4.48 22.89 0.00 0.00 0.00 0.00 71.14
09:27:50 PM 20 1.51 0.00 6.03 35.18 0.00 0.00 0.00 0.00 57.29 09:26:56 PM 20 0.50 0.00 1.50 15.00 0.00 0.00 0.00 0.00 83.00
09:27:50 PM 21 1.51 0.00 5.53 35.68 0.00 0.00 0.00 0.00 57.29 09:26:56 PM 21 1.00 0.00 2.50 19.50 0.00 0.00 0.00 0.00 77.00
09:27:50 PM 22 0.99 0.00 2.97 19.80 0.00 0.00 0.00 0.00 76.24 09:26:56 PM 22 1.00 0.00 3.00 21.00 0.00 0.00 0.00 0.00 75.00
09:27:50 PM 23 1.50 0.00 12.00 59.00 0.00 0.00 0.00 0.00 27.50 09:26:56 PM 23 1.50 0.00 22.50 20.50 0.00 0.00 0.00 0.00 55.50
—————————————————————- ———————————————————————–
———– ReadWorker ———– ———– ReadWorker ———–
Elapsed Time: 909.999995 Elapsed Time: 555.999998
Operation Count: 261917 Operation Count: 588393
Failed Count: 0 Failed Count: 0
Failed Rate: 0.000000% Failed Rate: 0.000000%
Avgerage Tps: 287.820881 Avgerage Tps: 1058.260795
Avgerage Latency: 3472 Avgerage Latency: 943
Latency Distribution: Latency Distribution:
[<10us ]: 0(0.00%) [<10us ]: 4947(0.84%)
[10us-50us ]: 452(0.17%) [10us-50us ]: 171(0.03%)
[50us-100us ]: 162(0.06%) [50us-100us ]: 19(0.00%)
[100us-200us]: 202(0.08%) [100us-200us ]: 44(0.01%)
[200us-300us]: 126(0.05%) [200us-300us ]: 163(0.03%)
[300us-500us]: 90(0.03%) [300us-500us ]: 7482(1.27%)
[500us-1ms ]: 1682(0.64%) [500us-1ms ]: 454358(77.22%)
[1ms-2ms ]: 76691(29.28%) [1ms-2ms ]: 116033(19.72%)
[2ms-3ms ]: 44825(17.11%) [2ms-3ms ]: 3819(0.65%)
[3ms-5ms ]: 71216(27.19%) [3ms-5ms ]: 1074(0.18%)
[5ms-10ms ]: 66415(25.36%) [5ms-10ms ]: 202(0.03%)
[10ms-20ms ]: 51(0.02%) [10ms-20ms ]: 49(0.01%)
[20ms-30ms ]: 1(0.00%) [20ms-30ms ]: 11(0.00%)
[30ms-40ms ]: 1(0.00%) [30ms-40ms ]: 6(0.00%)
[40ms-50ms ]: 0(0.00%) [40ms-50ms ]: 4(0.00%)
[50ms-100m s]: 0(0.00%) [50ms-100ms]: 5(0.00%)
[100ms-1s ]: 3(0.00%) [100ms-1s ]: 6(0.00%)
[>1s ]: 0(0.00%) [>1s ]: 0(0.00%)
Percentile Latency(max latency): Percentile Latency(max latency):
[99% ]: 7052(us) [99% ]: 1986(us)
[99.9% ]: 8244(us) [99.9% ]: 3910(us)
[99.99% ]: 11611(us) [99.99% ]: 12000(us)
——————————————————————– ———————————————————————————
固定单盘5000qps状态下读 ————————————————————————————————————— ——————————————————————————————————–
avg-cpu: %user %nice %system %iowait %steal %idle avg-cpu: %user %nice %system %iowait %steal %idle
1.23 0.02 3.60 6.67 0.00 88.48 0.23 0.02 0.71 3.96 0.00 95.08

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util   Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00     6.50    0.00   37.50     0.00   178.00     9.49     0.00    0.04    0.00    0.04   0.04   0.15   sda               0.00    11.50    0.00   42.00     0.00   220.00    10.48     0.00    0.11    0.00    0.11   0.04   0.15
sdb               0.00     0.00 13372.50    0.00 53488.00     0.00     8.00     2.73    0.21    0.21    0.00   0.07  95.15  sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
----------------------------------------------------------------------------------------------------------------------------------  sdc               0.00     0.00 6871.00   28.50 27484.00   114.00     8.00     1.30    0.19    0.19    0.00   0.10  70.65
09:36:37 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle    ----------------------------------------------------------------------------------
09:36:39 PM  all    4.46    0.02    3.65    5.67    0.00    0.52    0.00    0.00   85.69    09:37:22 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
09:36:39 PM    0    9.05    0.00   21.61   42.21    0.00    4.02    0.00    0.00   23.12    09:37:24 PM  all    0.29    0.02    0.54    3.83    0.00    0.19    0.00    0.00   95.12
09:36:39 PM    1    1.49    0.00    1.49    0.50    0.00    0.00    0.00    0.00   96.52    09:37:24 PM    0    2.01    0.00    5.03   49.75    0.00    2.01    0.00    0.00   41.21
09:36:39 PM    2    0.00    0.00    2.00    1.00    0.00    0.00    0.00    0.00   97.00    09:37:24 PM    1    0.50    0.00    1.50    0.00    0.00    0.00    0.00    0.00   98.00
09:36:39 PM    3    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00    09:37:24 PM    2    0.00    0.50    0.00    0.00    0.00    0.00    0.00    0.00   99.50
09:36:39 PM    4    2.01    0.00    1.01    0.00    0.00    0.00    0.00    0.00   96.98    09:37:24 PM    3    0.50    0.00    0.50    0.00    0.00    0.00    0.00    0.00   99.00
09:36:39 PM    5   33.50    0.00    3.00    0.00    0.00    0.00    0.00    0.00   63.50    09:37:24 PM    4    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
09:36:39 PM    6   19.00    0.00   23.00   40.50    0.00    8.00    0.00    0.00    9.50    09:37:24 PM    5    0.00    0.00    1.00    0.00    0.00    0.00    0.00    0.00   99.00
09:36:39 PM    7    3.50    0.00    4.50    4.00    0.00    0.00    0.00    0.00   88.00    09:37:24 PM    6    1.99    0.00    2.49   30.85    0.00    1.99    0.00    0.00   62.69
09:36:39 PM    8    0.50    0.00    1.00    1.50    0.00    0.00    0.00    0.00   97.00    09:37:24 PM    7    0.00    0.00    1.01    0.00    0.00    0.00    0.00    0.00   98.99
09:36:39 PM    9    3.52    0.00    0.50    0.00    0.00    0.00    0.00    0.00   95.98    09:37:24 PM    8    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
09:36:39 PM   10    0.00    0.00    0.50    0.00    0.00    0.00    0.00    0.00   99.50    09:37:24 PM    9    0.00    0.50    0.00    0.00    0.00    0.00    0.00    0.00   99.50
09:36:39 PM   11    0.50    0.00    0.00    0.00    0.00    0.00    0.00    0.00   99.50    09:37:24 PM   10    0.00    0.00    0.50    0.00    0.00    0.00    0.00    0.00   99.50
09:36:39 PM   12   20.10    0.00    8.04   14.57    0.00    0.00    0.00    0.00   57.29    09:37:24 PM   11    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
09:36:39 PM   13    1.50    0.00    1.50    0.00    0.00    0.00    0.00    0.00   97.00    09:37:24 PM   12    0.50    0.00    1.00    7.96    0.00    0.00    0.00    0.00   90.55
09:36:39 PM   14    0.51    0.00    0.51    0.00    0.00    0.00    0.00    0.00   98.99    09:37:24 PM   13    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
09:36:39 PM   15    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00    09:37:24 PM   14    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
09:36:39 PM   16    0.00    0.00    0.50    0.00    0.00    0.00    0.00    0.00   99.50    09:37:24 PM   15    0.50    0.00    0.50    0.00    0.00    0.00    0.00    0.00   99.00
09:36:39 PM   17    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00    09:37:24 PM   16    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
09:36:39 PM   18    6.47    0.00   13.93   30.85    0.00    0.00    0.00    0.00   48.76    09:37:24 PM   17    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
09:36:39 PM   19    1.01    0.00    1.01    0.00    0.00    0.00    0.00    0.00   97.99    09:37:24 PM   18    0.00    0.00    0.00    3.02    0.00    0.00    0.00    0.00   96.98
09:36:39 PM   20    4.00    0.00    2.00    0.00    0.00    0.00    0.00    0.00   94.00    09:37:24 PM   19    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
09:36:39 PM   21    0.00    0.00    0.50    0.00    0.00    0.00    0.00    0.00   99.50    09:37:24 PM   20    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
09:36:39 PM   22    0.50    0.00    0.50    0.00    0.00    0.00    0.00    0.00   99.00    09:37:24 PM   21    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
09:36:39 PM   23    0.00    0.00    0.50    0.00    0.00    0.00    0.00    0.00   99.50    09:37:24 PM   22    0.50    0.00    0.00    0.00    0.00    0.00    0.00    0.00   99.50
----------------------------------------------------------------------------------------------------------  09:37:24 PM   23    0.00    0.00    0.00    0.50    0.00    0.00    0.00    0.00   99.50
----------- ReadWorker -----------  -------------------------------------------------------------------
Elapsed Time: 387.999998    ----------- ReadWorker -----------
Operation Count: 48500  Elapsed Time: 503.999995
Failed Count: 0 Operation Count: 63000
Failed Rate: 0.000000%  Failed Count: 0
Avgerage Tps: 125.000001    Failed Rate: 0.000000%
Avgerage Latency: 855   Avgerage Tps: 125.000001
Latency Distribution:   Avgerage Latency: 263
[<10us      ]: 0(0.00%) Latency Distribution:
[10us-50us  ]: 223(0.46%)   [<10us    ]: 547(0.87%)
[50us-100us ]: 81(0.17%)    [10us-50us    ]: 18(0.03%)
[100us-200us]: 100(0.21%)   [50us-100us    ]: 0(0.00%)
[200us-300us]: 526(1.08%)   [100us-200us    ]: 31525(50.04%)
[300us-500us]: 10822(22.31%)    [200us-300us    ]: 2681(4.26%)
[500us-1ms  ]: 27771(57.26%)    [300us-500us    ]: 27855(44.21%)
[1ms-2ms    ]: 6237(12.86%) [500us-1ms    ]: 364(0.58%)
[2ms-3ms    ]: 1240(2.56%)  [1ms-2ms    ]: 6(0.01%)
[3ms-5ms    ]: 1284(2.65%)  [2ms-3ms    ]: 3(0.00%)
[5ms-10ms   ]: 212(0.44%)   [3ms-5ms    ]: 1(0.00%)
[10ms-20ms  ]: 3(0.01%) [5ms-10ms  ]: 0(0.00%)
[20ms-30ms  ]: 0(0.00%) [10ms-20ms ]: 0(0.00%)
[30ms-40ms  ]: 0(0.00%) [20ms-30ms ]: 0(0.00%)
[40ms-50ms  ]: 0(0.00%) [30ms-40ms ]: 0(0.00%)
[50ms-100m s]: 0(0.00%) [40ms-50ms ]: 0(0.00%)
[100ms-1s   ]: 1(0.00%) [50ms-100ms]: 0(0.00%)
[>1s        ]: 0(0.00%) [100ms-1s  ]: 0(0.00%)
Percentile Latency(max latency):    [>1s       ]: 0(0.00%)
[99% ]: 4331(us)    Percentile Latency(max latency):
[99.9% ]: 6051(us)  [99% ]: 439(us)
[99.99% ]: 7875(us) [99.9% ]: 640(us)
--------------------------------------------------------------------------  [99.99% ]: 1200(us)
    -----------------------------------------------------------

拼命写，wget单盘限速5M下载 ——————————————————————- ——————————————————————-
avg-cpu: %user %nice %system %iowait %steal %idle avg-cpu: %user %nice %system %iowait %steal %idle
2.81 0.06 14.96 48.24 0.00 33.92 2.15 0.02 12.32 43.75 0.00 41.77

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util   Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00     8.00   22.50   44.50  1090.00   216.00    38.99     0.16    2.43    5.36    0.94   1.26   8.45   sda               0.00    29.00   96.50   99.50  2088.00   814.00    29.61     4.47   22.43    9.59   34.89   2.59  50.70
sdb               0.00     0.00 48331.50   17.00 193330.00  3716.00     8.15    35.87    0.75    0.74    2.68   0.02  99.95 sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
    sdc               0.00     1.00 48552.00  296.00 194208.00  5794.00     8.19    37.85    0.78    0.77    1.49   0.02  99.05
------------------------------------------------------------------- 
10:16:03 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle    -------------------------------------------------------------------
10:16:05 PM  all    2.84    0.02   11.19   46.95    0.00    3.61    0.00    0.00   35.40    10:15:08 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
10:16:05 PM    0    6.03    0.00   22.11   27.14    0.00   44.72    0.00    0.00    0.00    10:15:10 PM  all    1.98    0.08    9.81   43.40    0.00    1.94    0.00    0.00   42.79
10:16:05 PM    1    3.96    0.00   15.84   75.74    0.00    0.00    0.00    0.00    4.46    10:15:10 PM    0    5.53    0.00    9.55   59.30    0.00   25.63    0.00    0.00    0.00
10:16:05 PM    2    4.00    0.00   13.50   74.00    0.00    0.00    0.00    0.00    8.50    10:15:10 PM    1    4.02    0.00    8.04   77.39    0.00    0.00    0.00    0.00   10.55
10:16:05 PM    3    4.00    0.00   13.00   68.50    0.00    0.00    0.00    0.00   14.50    10:15:10 PM    2    3.02    0.00    8.04   71.36    0.00    0.00    0.00    0.00   17.59
10:16:05 PM    4    2.50    0.00   11.50   62.50    0.00    0.00    0.00    0.00   23.50    10:15:10 PM    3    3.52    0.50    9.05   73.37    0.00    0.00    0.00    0.00   13.57
10:16:05 PM    5    3.00    0.00   10.50   52.50    0.00    0.00    0.00    0.00   34.00    10:15:10 PM    4    2.01    0.00    6.03   57.79    0.00    0.00    0.00    0.00   34.17
10:16:05 PM    6    5.53    0.00   23.12   29.15    0.00   42.21    0.00    0.00    0.00    10:15:10 PM    5    1.49    0.00    9.95   51.74    0.00    0.00    0.00    0.00   36.82
10:16:05 PM    7    4.50    0.00   15.00   70.00    0.00    0.00    0.00    0.00   10.50    10:15:10 PM    6    4.50    0.00   11.00   63.50    0.00   21.00    0.00    0.00    0.00
10:16:05 PM    8    3.00    0.00   12.00   68.50    0.00    0.00    0.00    0.00   16.50    10:15:10 PM    7    2.00    0.00    7.00   56.00    0.00    0.00    0.00    0.00   35.00
10:16:05 PM    9    3.50    0.00   11.00   64.00    0.00    0.00    0.00    0.00   21.50    10:15:10 PM    8    0.00    0.00  100.00    0.00    0.00    0.00    0.00    0.00    0.00
10:16:05 PM   10    2.50    0.00   10.00   48.50    0.00    0.00    0.00    0.00   39.00    10:15:10 PM    9    2.00    0.00    5.00   50.50    0.00    0.00    0.00    0.00   42.50
10:16:05 PM   11    3.02    0.00   10.55   48.74    0.00    0.00    0.00    0.00   37.69    10:15:10 PM   10    1.49    0.00    3.98   42.29    0.00    0.00    0.00    0.00   52.24
10:16:05 PM   12    6.03    0.00   23.62   69.35    0.00    0.00    0.00    0.00    1.01    10:15:10 PM   11    1.01    0.00    3.54   29.29    0.00    0.00    0.00    0.00   66.16
10:16:05 PM   13    0.50    0.00    4.00   29.00    0.00    0.00    0.00    0.00   66.50    10:15:10 PM   12    3.50    0.00    9.50   84.50    0.00    0.00    0.00    0.00    2.50
10:16:05 PM   14    1.50    0.00    6.00   33.50    0.00    0.00    0.00    0.00   59.00    10:15:10 PM   13    0.50    1.01    4.02   24.62    0.00    0.00    0.00    0.00   69.85
10:16:05 PM   15    3.48    0.00    7.46   42.79    0.00    0.00    0.00    0.00   46.27    10:15:10 PM   14    1.49    0.00    3.98   30.85    0.00    0.00    0.00    0.00   63.68
10:16:05 PM   16    1.01    0.00    5.53   35.68    0.00    0.00    0.00    0.00   57.79    10:15:10 PM   15    1.00    0.00    3.50   30.00    0.00    0.00    0.00    0.00   65.50
10:16:05 PM   17    1.50    0.00    6.00   35.50    0.00    0.00    0.00    0.00   57.00    10:15:10 PM   16    1.50    0.00    5.00   39.50    0.00    0.00    0.00    0.00   54.00
10:16:05 PM   18    6.06    0.00   27.78   65.66    0.00    0.00    0.00    0.00    0.51    10:15:10 PM   17    1.00    0.00    7.96   42.29    0.00    0.00    0.00    0.00   48.76
10:16:05 PM   19    1.49    0.50    7.92   41.09    0.00    0.00    0.00    0.00   49.01    10:15:10 PM   18    3.50    0.00   10.50   75.00    0.00    0.00    0.00    0.00   11.00
10:16:05 PM   20    1.00    0.00    3.98   21.39    0.00    0.00    0.00    0.00   73.63    10:15:10 PM   19    1.00    0.50    4.50   26.50    0.00    0.00    0.00    0.00   67.50
10:16:05 PM   21    0.50    0.00    1.49    5.97    0.00    0.00    0.00    0.00   92.04    10:15:10 PM   20    0.50    0.00    0.50    1.99    0.00    0.00    0.00    0.00   97.01
10:16:05 PM   22    0.50    0.00    6.47   45.77    0.00    0.00    0.00    0.00   47.26    10:15:10 PM   21    0.00    0.00    1.01    9.05    0.00    0.00    0.00    0.00   89.95
10:16:05 PM   23    0.50    0.00    1.99   10.45    0.00    0.00    0.00    0.00   87.06    10:15:10 PM   22    1.00    0.00    1.99   23.38    0.00    0.00    0.00    0.00   73.63
------------------------------------------------------------------- 10:15:10 PM   23    1.00    0.00    1.00   22.50    0.00    0.00    0.00    0.00   75.50
----------- ReadWorker -----------  -------------------------------------------------------------------
Elapsed Time: 381.000001    ----------- ReadWorker -----------
Operation Count: 124138 Elapsed Time: 416.999996
Failed Count: 0 Operation Count: 435209
Failed Rate: 0.000000%  Failed Count: 0
Avgerage Tps: 325.821521    Failed Rate: 0.000000%
Avgerage Latency: 3066  Avgerage Tps: 1043.666676
Latency Distribution:   Avgerage Latency: 957
[<10us      ]: 0(0.00%) Latency Distribution:
[10us-50us  ]: 341(0.27%)   [<10us    ]: 4847(1.11%)
[50us-100us ]: 119(0.10%)   [10us-50us    ]: 347(0.08%)
[100us-200us]: 179(0.14%)   [50us-100us    ]: 13(0.00%)
[200us-300us]: 107(0.09%)   [100us-200us    ]: 25(0.01%)
[300us-500us]: 80(0.06%)    [200us-300us    ]: 105(0.02%)
[500us-1ms  ]: 1276(1.03%)  [300us-500us    ]: 5898(1.36%)
[1ms-2ms    ]: 49936(40.23%)    [500us-1ms    ]: 328337(75.44%)
[2ms-3ms    ]: 22373(18.02%)    [1ms-2ms    ]: 92041(21.15%)
[3ms-5ms    ]: 26551(21.39%)    [2ms-3ms    ]: 2119(0.49%)
[5ms-10ms   ]: 22771(18.34%)    [3ms-5ms    ]: 746(0.17%)
[10ms-20ms  ]: 366(0.29%)   [5ms-10ms  ]: 628(0.14%)
[20ms-30ms  ]: 33(0.03%)    [10ms-20ms ]: 94(0.02%)
[30ms-40ms  ]: 3(0.00%) [20ms-30ms ]: 5(0.00%)
[40ms-50ms  ]: 1(0.00%) [30ms-40ms ]: 1(0.00%)
[50ms-100m s]: 1(0.00%) [40ms-50ms ]: 1(0.00%)
[100ms-1s   ]: 1(0.00%) [50ms-100ms]: 0(0.00%)
[>1s        ]: 0(0.00%) [100ms-1s  ]: 2(0.00%)
Percentile Latency(max latency):    [>1s       ]: 0(0.00%)
[99% ]: 7323(us)    Percentile Latency(max latency):
[99.9% ]: 15195(us) [99% ]: 1982(us)
[99.99% ]: 26500(us)    [99.9% ]: 7485(us)
------------------------------------------------------------------- [99.99% ]: 12571(us)
    -------------------------------------------------------------------
------------------------------------------------------------------- 
    -------------------------------------------------------------------
------------------------------------------------------------------- 

-------------------------------------------------------------------

单盘读取5000，wget单盘限速5M下载 —————————————– ———————————————————————————————
avg-cpu: %user %nice %system %iowait %steal %idle avg-cpu: %user %nice %system %iowait %steal %idle
1.60 0.08 6.29 14.04 0.00 77.98 0.27 0.08 0.77 3.60 0.00 95.27

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util   Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00     4.50   29.50   37.00  1208.00   172.00    41.50     0.11    1.60    2.41    0.96   1.03   6.85   sda               0.00     7.50    0.00   45.00     0.00   212.00     9.42     0.01    0.14    0.00    0.14   0.01   0.05
sdb               0.00     1.50 25351.50   25.50 101406.00  6360.00     8.49     8.54    0.34    0.34    2.16   0.04  99.80 sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
----------------------------------------------------------- sdc               0.00     0.50 5646.50   83.50 22586.00  7518.00    10.51     1.10    0.19    0.18    1.02   0.13  77.10
09:21:22 AM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle    ----------------------------------------------------------------------------
09:21:24 AM  all    1.52    0.00    5.11   14.69    0.00    1.44    0.00    0.00   77.25    09:22:07 AM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
09:21:24 AM    0    8.50    0.00   32.00   44.50    0.00   15.00    0.00    0.00    0.00    09:22:09 AM  all    0.25    0.12    0.56    4.21    0.00    0.15    0.00    0.00   94.71
09:21:24 AM    1    1.00    0.00    1.49    6.47    0.00    0.00    0.00    0.00   91.04    09:22:09 AM    0    0.50    0.00    2.01   34.67    0.00    1.01    0.00    0.00   61.81
09:21:24 AM    2    1.00    0.00    2.50    4.00    0.00    0.00    0.00    0.00   92.50    09:22:09 AM    1    0.50    0.00    1.00    0.00    0.00    0.00    0.00    0.00   98.50
09:21:24 AM    3    0.50    0.00    1.00    3.50    0.00    0.00    0.00    0.00   95.00    09:22:09 AM    2    0.00    0.00    0.50    4.00    0.00    0.00    0.00    0.00   95.50
09:21:24 AM    4    0.50    0.00    0.50    2.99    0.00    0.00    0.00    0.00   96.02    09:22:09 AM    3    0.50    0.50    0.50    0.00    0.00    0.00    0.00    0.00   98.51
09:21:24 AM    5    0.00    0.00    2.00    1.50    0.00    0.00    0.00    0.00   96.50    09:22:09 AM    4    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
09:21:24 AM    6    9.50    0.00   30.50   40.50    0.00   19.50    0.00    0.00    0.00    09:22:09 AM    5    0.00    0.50    0.00    0.00    0.00    0.00    0.00    0.00   99.50
09:21:24 AM    7    1.00    0.00    6.00   10.00    0.00    0.00    0.00    0.00   83.00    09:22:09 AM    6    2.99    0.00    2.49   54.23    0.00    2.49    0.00    0.00   37.81
09:21:24 AM    8    0.50    0.00    1.50    4.50    0.00    0.00    0.00    0.00   93.50    09:22:09 AM    7    0.50    0.00    2.51    1.51    0.00    0.00    0.00    0.00   95.48
09:21:24 AM    9    0.50    0.00    0.50    6.03    0.00    0.00    0.00    0.00   92.96    09:22:09 AM    8    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
09:21:24 AM   10    0.50    0.00    0.50    3.50    0.00    0.00    0.00    0.00   95.50    09:22:09 AM    9    0.00    0.00    0.50    1.00    0.00    0.00    0.00    0.00   98.50
09:21:24 AM   11    0.50    0.00    1.00    5.00    0.00    0.00    0.00    0.00   93.50    09:22:09 AM   10    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
09:21:24 AM   12    6.47    0.00   15.92   53.73    0.00    0.00    0.00    0.00   23.88    09:22:09 AM   11    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
09:21:24 AM   13    0.50    0.50    0.50    2.50    0.00    0.00    0.00    0.00   96.00    09:22:09 AM   12    0.00    0.00    0.00    1.50    0.00    0.00    0.00    0.00   98.50
09:21:24 AM   14    0.50    0.00    0.50    4.98    0.00    0.00    0.00    0.00   94.03    09:22:09 AM   13    0.00    1.50    0.50    0.00    0.00    0.00    0.00    0.00   98.00
09:21:24 AM   15    0.00    0.00    0.50    1.99    0.00    0.00    0.00    0.00   97.51    09:22:09 AM   14    0.00    0.00    0.00    0.50    0.00    0.00    0.00    0.00   99.50
09:21:24 AM   16    0.00    0.00    0.50    0.00    0.00    0.00    0.00    0.00   99.50    09:22:09 AM   15    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
09:21:24 AM   17    0.00    0.00    0.00    0.50    0.00    0.00    0.00    0.00   99.50    09:22:09 AM   16    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
09:21:24 AM   18    4.02    0.00   17.59   55.78    0.00    0.00    0.00    0.00   22.61    09:22:09 AM   17    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
09:21:24 AM   19    0.50    0.00    0.50    1.99    0.00    0.00    0.00    0.00   97.01    09:22:09 AM   18    0.50    0.00    1.50    3.00    0.00    0.00    0.00    0.00   95.00
09:21:24 AM   20    0.00    0.00    0.50    3.02    0.00    0.00    0.00    0.00   96.48    09:22:09 AM   19    0.00    0.00    0.50    0.00    0.00    0.00    0.00    0.00   99.50
09:21:24 AM   21    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00    09:22:09 AM   20    0.50    0.00    1.49    0.00    0.00    0.50    0.00    0.00   97.51
09:21:24 AM   22    0.50    0.00    6.50   93.00    0.00    0.00    0.00    0.00    0.00    09:22:09 AM   21    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
09:21:24 AM   23    0.00    0.00    0.50    2.01    0.00    0.00    0.00    0.00   97.49    09:22:09 AM   22    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
----------------------------------------------------------------------  09:22:09 AM   23    0.50    0.00    0.50    0.00    0.00    0.00    0.00    0.00   99.00
----------- ReadWorker -----------  ---------------------------------------------------------------------------------------------------------
Elapsed Time: 585.999999    ----------- ReadWorker -----------
Operation Count: 73250  Elapsed Time: 526.999993
Failed Count: 0 Operation Count: 65875
Failed Rate: 0.000000%  Failed Count: 0
Avgerage Tps: 125.000000    Failed Rate: 0.000000%
Avgerage Latency: 960   Avgerage Tps: 125.000002
Latency Distribution:   Avgerage Latency: 254
[<10us      ]: 0(0.00%) Latency Distribution:
[10us-50us  ]: 218(0.30%)   [<10us    ]: 1084(1.65%)
[50us-100us ]: 107(0.15%)   [10us-50us    ]: 21(0.03%)
[100us-200us]: 113(0.15%)   [50us-100us    ]: 0(0.00%)
[200us-300us]: 592(0.81%)   [100us-200us    ]: 31015(47.08%)
[300us-500us]: 19584(26.74%)    [200us-300us    ]: 13728(20.84%)
[500us-1ms  ]: 28306(38.64%)    [300us-500us    ]: 19582(29.73%)
[1ms-2ms    ]: 18121(24.74%)    [500us-1ms    ]: 390(0.59%)
[2ms-3ms    ]: 5933(8.10%)  [1ms-2ms    ]: 23(0.03%)
[3ms-5ms    ]: 222(0.30%)   [2ms-3ms    ]: 9(0.01%)
[5ms-10ms   ]: 28(0.04%)    [3ms-5ms    ]: 1(0.00%)
[10ms-20ms  ]: 25(0.03%)    [5ms-10ms  ]: 19(0.03%)
[20ms-30ms  ]: 0(0.00%) [10ms-20ms ]: 3(0.00%)
[30ms-40ms  ]: 0(0.00%) [20ms-30ms ]: 0(0.00%)
[40ms-50ms  ]: 0(0.00%) [30ms-40ms ]: 0(0.00%)
[50ms-100m s]: 0(0.00%) [40ms-50ms ]: 0(0.00%)
[100ms-1s   ]: 1(0.00%) [50ms-100ms]: 0(0.00%)
[>1s        ]: 0(0.00%) [100ms-1s  ]: 0(0.00%)
Percentile Latency(max latency):    [>1s       ]: 0(0.00%)
[99% ]: 2794(us)    Percentile Latency(max latency):
[99.9% ]: 4038(us)  [99% ]: 478(us)
[99.99% ]: 14000(us)    [99.9% ]: 881(us)
    [99.99% ]: 8500(us)
    --------------------------------------------------------------------------
Caffe1——Mnist数据集创建lmdb或leveldb类型的数据
whiteinblue的专栏
04-28 1万+
Leveldb和lmdb简单介绍 Caffe生成的数据分为2种格式：Lmdb和Leveldb。 它们都是键/值对（Key/Value Pair）嵌入式数据库管理系统编程库。 虽然lmdb的内存消耗是leveldb的1.1倍，但是lmdb的速度比leveldb快10%至15%，更重要的是lmdb允许多种训练模型同时读取同一组数据集。 因此lmdb取代了leveldb成为Caffe默认的数
leveldb mysql 比较_leveldb/rocksdb对比
weixin_39662462的博客
01-19 1602
本篇介绍典型的基于SStable的存储。适用于与SSD一起使用。更多存储相关见：https://segmentfault.com/a/11...。涉及到leveldb,rocksdb。基本上分布式都要单独做，重点是单机架构，数据写入，合并，ACID等功能和性能相关的。先对性能有个直观认识：mysql写入千条/s，读万应该没问题。redis 写入 万条/s 7M/s(k+v 700bytes，双核)...
开源:LMDB 操作工具:lmcmd
CodeBlocks的博客
03-14 999
本文介绍了 LMDB（一种高效的键值存储数据库）和基于 Python 开发的命令行工具 `lmcmd`。由于 LMDB 使用二进制文件存储，管理和调试不便，因此开发了 `lmcmd`，提供了类似 Redis 的命令行操作界面，支持数据库操作、数据导入导出和查找等功能。文章涵盖了 `lmcmd` 的安装、连接数据库和常用命令（如 `set`、`get`、`export` 等）示例。最后强调了开源工具的价值，鼓励用户反馈和改进。
Caffe学习系列(11)：图像数据转换成db（leveldb/lmdb)文件
weixin_34400525的博客
12-28 347
在深度学习的实际应用中，我们经常用到的原始数据是图片文件，如jpg,jpeg,png,tif等格式的，而且有可能图片的大小还不一致。而在caffe中经常使用的数据类型是lmdb或leveldb，因此就产生了这样的一个问题：如何从原始图片文件转换成caffe中能够运行的db（leveldb/lmdb)文件？ 在caffe中，作者为我们提供了这样一个文件：convert_imageset.cpp，存...
levelDB, TokuDB, BDB等kv存储引擎性能对比——wiredtree, wiredLSM，LMDB读写很强啊
djph26741的博客
01-22 703
在：http://www.lmdb.tech/bench/inmem/ 2. Small Data Set Using the laptop we generate a database with 20 million records. The records have 16 byte keys and 100 byte values so the resulting databas...
Leveldb／lmdb／comdb 各种存储引擎的个人见解
wuhuaiyu的专栏
06-27 7963
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
初识 LevelDB与LMDB
魔筝炼药师
06-22 2536
LMDB，Lightning Memory-Mapped Database Manager，轻量级内存映射数据库。 待更新 参考链接： https://blog.youkuaiyun.com/wuhuaiyu/article/details/46663515 https://blog.youkuaiyun.com/wuhuaiyu/article/details/81068591 https://blog.cs...
探索MNIST数据集的LevelDB和LMDB格式
Leveldb通常用于需要快速读写操作的场合，并且因为它占用空间小，所以也适用于数据量比较大的存储环境。 ### 知识点三：LMDB格式 LMDB（Lightning Memory-Mapped Database）是一个高效的、跨平台的键值存储库，它...
caffe的已经转成lmdb格式的MNIST数据
01-22
接着，LMDB（LevelDB Map Database）是Google开发的一个轻量级、高性能、嵌入式键值对数据库。在深度学习中，如Caffe，LMDB常被用作存储预处理数据的高效方式，尤其是对于大规模的数据集。LMDB支持随机读写，具有...
lmdb安装
最新发布
04-03
最后，生成相关问题时，要考虑用户可能的后续需求，比如LMDB的使用方法、性能优化、与其他数据库的比较等。确保回答结构清晰，步骤详细，并且引用正确的来源，如引用1中的安装步骤。</think>### LMDB在不同平台的...
在 HBase、Redis、MongoDB、Couchbase、LevelDB 五款较主流的数据库产品中，本文将主要对它们进行分析对比。
yilvyangguang520的博客
09-02 1403
在 HBase、Redis、MongoDB、Couchbase、LevelDB 五款较主流的数据库产品中，本文将主要对它们进行分析对比。 鉴于缺乏项目中的实战经验沉淀，本文内容和观点主要还是从各平台资料搜罗汇总，也不会有太多深入或底层原理探讨。 本文所引用的资料来源将示于本文尾部。所汇总的内容仅供参考，若有异议望指正。 &nb...
mnist数据集（leveldb和lmdb格式）
10-24
mnist数据集包括leveldb和lmdb格式
RocksDB介绍：一个比LevelDB更彪悍的引擎
热门推荐
tzdjzs的专栏
03-09 1万+
关于LevelDB的资料网上还是比较丰富的，如果你尚未听说过LevelDB，那请稍微预习一下，因为RocksDB实际上是在LevelDB之上做的改进。本文主要侧重在架构上对RocksDB对LevelDB改进的地方做个简单介绍并添加一些个人的看法，更详细的信息读者可参考其官网：http://rocksdb.org/ RocksDB是在LevelDB原来的代码上进行改进完善的，所以在用法上与Leve
caffe学习笔记1：转化自己的数据为（leveldb/lmdb）文件
heimu24的博客
12-12 4159
环境：ubuntu16.04 CPU 经过千难万险将环境配置好之后，MNISt数据集也测试过的，MNIST数据集杀机caffe自带的数据集，如果我们要处理自己的数据的话，我们就需要做一些转化了，我们的图像数据往往是图片文件，jpg，jpeg，png等，然而在caffe中我们需要使用的数据类型是lmdb或leveldb，因此我们在对自己的图像数据进行训练/测试之前，需要转换成caffe框架可
lmdb性能测试——代码及结果
哦，原来你也在这里。
09-18 1893
#include <iostream> #include <string> #include <chrono> #include "lmdb.h" using namespace std; int main(int argc, char* argv[]){ int res; MDB_env *env; MDB_dbi dbi; MDB_val key, data; MDB_txn *txn; //init lm.
LevelDB、TreeDB、SQLite3性能对比测试
Fybon的专栏
07-09 5484
from : http://blog.nosqlfan.com/html/2819.html 下面性能测试对比来自LevelDB官方，由 NoSQLFan 进行翻译整理。从结果上看，这不像某些田忌赛马式的性能对比，总体来说还是比较客观全面。通过多种场景下的不同性能测试结果的对比，我们也能对这三个数据库分别擅长和适用的场合有所了解。同时对其性能调优的方法理解也有一定的帮助。 原文链接
深度学习leveldb、lmdb、hdf5
sun007700的专栏
07-26 793
深度学习---之hdf5,lmdb https://blog.youkuaiyun.com/zxyhhjs2017/article/details/78685734 图像数据转换成db（leveldb/lmdb）文件 https://blog.youkuaiyun.com/weixin_41863685/article/details/81227955 ...
levelDB rocksDB和tikv的优点和缺点对比
wade1010的专栏
08-10 591
综上所述，LevelDB适用于小规模的本地数据存储，RocksDB适用于较大规模的本地数据存储，TiKV适用于大规模的分布式数据存储和计算。不同的应用场景需要根据具体需求选择适合的存储引擎。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值