从群辉存储设备上传图片到阿里云OSS方案

最新推荐文章于 2022-11-02 09:36:26 发布

limuitech

最新推荐文章于 2022-11-02 09:36:26 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：阿里云OSS 文章标签：图片存储 oss 小图片

本文链接：https://blog.youkuaiyun.com/zhuangzi123456/article/details/81451955

本文介绍了如何利用群辉存储设备，通过设置crontab任务和编写shell+python脚本，将上百万张大小在5M-10M的图片进行异地灾备到阿里云OSS。由于群辉存储操作系统的限制，选择了find命令替代inotify进行图片列表查找，并实现了多进程图片上传。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一，需求

1，大量图片需要做异地灾备，大约有上百万张图片，而且还会往上增加，每张图片大小在5M-10M左右；

2，环境说明：服务器是群辉存储，操作系统功能受限制，跟centos系统使用有诸多不同；

二，实施方案

1，设置crontab任务

#backup data to Aliyun OSS
30 00 * * * root /bin/bash /volume1/scripts/findWithOSS_new.sh 5 #这里的数字5表示启用5个python上传图片的后台进程
50 00 * * * root source /etc/profile && /bin/bash /volume1/scripts/backupToOSScrontab_new.sh

2，shell+python

findWithOSS_new.sh：查找前一天00:00-24:00变动（包括新增和修改）的图片列表；本来考虑过使用inotify+python，但经过测试发现，群辉存储操作系统上没法用，然后改成了find命令来查找；

backupToOSScrontab_new.sh：图片上传进程实现多进程；

backupToOSS_new.py：图片上传脚本，基于阿里云提供的oss操作python的模块；

3，python版本：2.7.3

三，脚本代码

1，脚本findWithOSS_new.sh：

#!/bin/bash
#Filename: findWithOSS_new.sh
#Author: XXXXXX

set -m
monitoredDir='/volume1/存档/[存档]2018新'
outputDir='/volume1/scripts/datadir'
osslogDir='/volume1/scripts/osslogs'
dataFile=fileli