读取official_dev的mdb文件

>>> import lmdb
>>> import msgpack
>>> from lz4.frame import compress, decompress
>>> env = lmdb.open(db_dir, readonly=True,create=False,lock=False,readahead=True)
>>> txn = env.begin(buffers=True)
>>> key = '#idiom001680#'	# 存储的时候传的是样本的id。
>>> print(msgpack.loads(decompress(txn.get(key.encode('utf-8'))),raw=False))
{'input_ids': [5838, 5650, 2209, 1086, 3613, 6392, 3791, 6444, 6237, 511, 1046, 3306, 858, 1923, 7410,
 6887, 103, 8043, 5838, 5650, 2209, 738, 2523, 7410, 2190, 800, 4684, 6432, 8038, 800, 6206, 3221, 2867,
  5318, 800, 812, 2990, 897, 4638, 817, 3419, 8024, 2218, 2523, 7410, 3833, 678, 1343, 511, 100, 671, 
  4636, 674, 511, 100, 800, 6432, 2533, 2523, 2398, 7474, 511, 7826, 6832, 2190, 800, 1125, 3307, 8024, 
  6385, 4197, 511, 5838, 5650, 2209, 4157, 1928, 6887, 8038, 100, 2190, 754, 2644, 4638, 2791, 2094, 
  3341, 6432, 8024, 6821, 7178, 679, 5050, 2208, 8024, 2523, 1914, 749, 511, 100],
   'position': 16, 'target': 6, 'options': [2054, 1946, 3568, 1977, 844, 2574, 3514]}
   
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值