用Python导出mogilefs中的文件

MogileFS迁移至OSS实践
本文介绍了一个从MogileFS分布式存储系统迁移图片至阿里云OSS的具体步骤,使用Python2.7+及pymogile库完成迁移,通过脚本实现了高效的数据迁移,速度达到7M/s。

背景

mogilefs中的文件是分布式存储的,在磁盘上程序为**.fid这样的文件,公司考虑将图片迁移到阿里云的OSS,执行如下步骤将图片导出

工具

Python 2.7+

步骤

  1.  安装mogilefs 的python客户端
    pip install pymogile
  2. 运行附件中的脚本,如导入四川逍遥的图片
    python get_mogilefs_files.py -d images -t "172.18.56.2:7001,172.18.31.80:7001" -o '/root/images'
    参数说明: 

        -d 为mogilefs 中的domain,目前生产环境只有images和files两个domain ; 

         -t 为mogilefs中的trackers,可以是单个或者多个,用逗号分割; 

        -o 为需要将文件输出到的目录

278M图片,耗时40秒,速度大概为7M/s

代码地址:

https://github.com/kevinniu666/mogilefs-client-python.git

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值