揭开cinder-backup服务的神秘面纱

Openstack存储总结之:详解如何使用NFS作为Cinder的后端存储 NFS服务简单描述 NFS是Network File System的缩写,即网络文件系统。一种使用于分散式文件系统的协定,由Sun公司开发,于1984年向外公布。功能是通过网络让不同的机器、不同的操 作系统能够彼此分享个别的数据,让应用程序在客户端通过网络访问位于服务器磁盘中的数据,是在类Unix系统间实现磁盘文件共享的一种方法。   NFS的基本原则是“容许不同的客户端及服务端通过一组RP 阅读详情

注意:转载请注明出处,欢迎大家交流学习!!!


cinder-backup的作用

cinder-backup用于将volume备份到其他存储系统上,目前支持的备份存储系统有swift、ceph、IBM Tivoli storage manager(TSM)、glusterFS等,默认是swift。


cinder-backup代码分析

Cinder-backup服务的代码位于/usr/lib/python2.7/site-packages/cinder/backup:

[root@NFJD-PSC-EBS-SV162 ~]# tree -L 2/usr/lib/python2.7/site-packages/cinder/backup

/usr/lib/python2.7/site-packages/cinder/backup

|-- __init__.py   指定并导入cinder-backup的API类;

|-- __init__.pyc

|-- __init__.pyo

|-- api.py 处理所有与卷备份服务相关的请求;

Cat  api.py

class API(base.Base):卷备份管理的接口API,主要定义了卷的备份相关的三个操作的API:

    create:实现卷的备份的建立;

    delete:实现删除卷的备份;

restore:实现恢复备份;

这三个操作都需要通过backup的rpcapi定义的RPC框架类的远程调用来实现;

|-- api.pyc

|-- api.pyo

|-- chunkeddriver.py

|-- chunkeddriver.pyc

|-- chunkeddriver.pyo

|-- driver.py 所有备份驱动类的基类;

Cat driver.py

classBackupDriver(base.Base):所有备份驱动类的基类;

|-- driver.pyc

|-- driver.pyo

|-- drivers

|  |-- __init__.py

|  |-- __init__.pyc

|  |-- __init__.pyo

|  |-- bcec.py

|  |-- bcec.pyc

|  |-- bcec.pyo

|   |-- ceph.py   ceph备份服务实现;

cat  ceph.py

class CephBackupDriver(BackupDriver):Ceph对象存储的Cinder卷备份类;这个类确认备份Cinder卷到Ceph对象存储系统;

|  |-- ceph.pyc

|  |-- ceph.pyo

|  |-- fujitsu_onest.py

|  |-- fujitsu_onest.pyc

|  |-- fujitsu_onest.pyo

|  |-- nfs.py

|  |-- nfs.pyc

|  |-- nfs.pyo

|  |-- sheepdog.py

|  |-- sheepdog.pyc

|  |-- sheepdog.pyo

|   |-- swift.py   用swift作为后端的备份服务的实现;

cat  swift.py 

classSwiftBackupDriver(BackupDriver):用swift作为后端的备份服务的各种管理操作实现类;

|  |-- swift.pyc

|  |-- swift.pyo

|   |-- tsm.py IBM Tivoli存储管理(TSM)的备份驱动类;

cat  tsm.py

classTSMBackupDriver(BackupDriver):实现了针对TSM驱动的卷备份的备份、恢复和删除等操作;

|  |-- tsm.pyc

|  `-- tsm.pyo

|-- manager.py  卷备份的管理操作的实现,其中的backupmanager类用于执行接收到的rpc请求

Cat manager.py

classBackupManager(manager.SchedulerDependentManager):块存储设备的备份管理;继承自类 SchedulerDependentManager;

主要实现的是三个远程调用的方法:

   create_backup:实现卷的备份的建立(对应api.py中的creat方法);

   restore_backup:实现恢复备份(对应api.py中的restore方法);

   delete_backup:实现删除卷的备份(对应api.py中的delete方法);

|-- manager.pyc

|-- manager.pyo

|-- rpcapi.py 类似于cinder-volume服务,rpcapi.py文件定义了提供给RPC调用的接口backupAPI

|-- rpcapi.pyc

`-- rpcapi.pyo


不同的备份存储系统已driver的形式得以支持,driver文件中定义了各种driver的基类backupdriver,所有具体driver的实现都位于drivers子目录,通过配置文件的backup_driver选项指定使用的driver。


cinder 驱动服务的配置在cinder.conf文件中,默认配置如下所示:

backup_driver=cinder.backup.drivers.swift


用Ceph作为后端存储的配置

backup_driver = cinder.backup.drivers.ceph

backup_ceph_conf=/etc/ceph/ceph.conf

backup_ceph_user = cinder

backup_ceph_chunk_size = 134217728

backup_ceph_pool = backups

backup_ceph_stripe_unit = 0

backup_ceph_stripe_count = 0



TSM作为后端存储的配置

backup_driver = cinder.backup.drivers.tsm

backup_tsm_compression = True    (BoolOpt)启用或禁用压缩备份

backup_tsm_password = password    (StrOpt) 运行TSM用户的密码(节点密码)

backup_tsm_volume_prefix = backup    (StrOpt)当备份到TSM时备份标识id的卷前缀



Swift作为后端存储的配置

backup_driver = cinder.backup.drivers.swift

backup_swift_url = http://localhost:8080/v1/AUTH

backup_swift_auth = per_user

backup_swift_user = <None>

backup_swift_key = <None>

backup_swift_container = volumebackups

backup_swift_object_size = 52428800

backup_swift_retry_attempts = 3

backup_swift_retry_backoff = 2

backup_compression_algorithm = zlib


当前cinder只支持设置一个备份存储后端,从mitaka开始,backup服务和volume服务解除了紧耦合,不再需要安装在同一台主机上,cinder-backup服务在接到情况后任何挑选

一个backup host来提供备份服务。

 

创建备份:cinder-backup通过rpc请求cinder-volume服务提供需要备份的卷(get_backup_device)。如果需要备份的卷处于available状态,直接把该卷返回给

cinder_backup,如果需要备份的卷正在被使用,则先根据该卷创建一份快照或者克隆卷,返回快照或者克隆卷给cinder-backup。Cinder-backup收到备份卷后,把备份卷挂载

到本机,将数据备份到后端存储,如下图所示:


 

恢复备份:cinder-backup将需要进行数据还要的卷挂载到本机,将数据从备份存储读出,恢复到卷上。

删除备份:cinder-backup直接调用backup driver中的接口进行删除


cinder-backup服务的相关操作


cinder type-create  EBS  创建EBS卷类型

cinder type-list  查看卷类型

cinder  create --display-name ling_volume 1   创建大小为1G的卷  (创建卷)

cinder  create --volume-type ebs-ssd  --display-name hing_volume 1     创建大小为1G,类型为ebs-ssd的卷(创建指定类型的卷)

cinder backup-create --container volumes_backup --display-name backuphing  hing_volume  备份hing_volume卷,卷名为backuphing  (备份卷)

cinder backup-restore  --volume-id b5391c29-bf67-4e73-8337-5b322a057316 hing_volume (恢复卷)

cinder delete b5391c29-bf67-4e73-8337-5b322a057316   (删除卷)

 

Openstack 中cinder backup三种backend的对比 K版Openstack的Cinder backup service新增加NFS作为backend,同时增加对增量备份的支持。这样当前已经支持四种backend,这里主要对其中三种ceph、nfs、swift的备份实现机制做一下对比介绍。另外一种TSM是IBM的存储,如果以后能有幸接触到再做研究和介绍。 阅读详情

相关推荐

cinderback:OpenStack的Cinder备份脚本助手

这是一个脚本,旨在充当示例/参考脚本,以方便OpenStack的卷备份/还原工作流,并提供一些针对Cinder Backup Service当前限制的变通办法,如以下两篇文章所述: 当前,此脚本提供以下功能: 备份/还原所有卷: 来自房客 通过提供的凭据可访问的所有租户 如果管理员完成备份,则可以向所有者租户隐藏备份 管理员可以轻松地还原其备份或租户,并使原始租户可见/不可见。 备份轮换:可以限制每个卷保留多少自动备份 可以通过原始卷ID或备份ID进行还原 可选保留卷的原始卷名称和描述 通过临时快照和卷创建/销毁备份使用中的卷 一次将所有自动备份元数据导出/导入到一个文件中 该脚本仅运行2个要求,Python 2.7和cinderclient v1.1.1或更高版本,如果使用的是旧版本,则某些功能将不可用,因为它们依赖于cinderclient对所有租户选项的支持。 Cinderc

cinder-backup详细介绍

首先介绍Snapshot         snapshot可以为volume创建快照,快照中保存了volume当前的状态,此后可以通过snapshot回溯         主要采用了Copy On Write算法。进行快照时,不牵涉到任何档案复制动作,它所作的只是通知服务器将目前有数据的磁盘区块全部保留起来,不被覆写。接下来档案修改或任何新增、删除动作,均不会覆写原本数据所在的磁盘区块

Roger_Yu的博客 8330

Vue路由守卫实战:利用token实现跨项目免登录跳转(最新版)

本文详细介绍了如何利用Vue路由守卫和Token验证实现跨项目免登录跳转方案。通过核心架构设计、路由守卫精细化控制及Token交换安全实践,有效解决了多系统跳转中的认证问题,提升用户体验和系统连贯性。

n7o8p的博客 142

cinder-backup细致分析

创建backup流程图:    恢复backup流程图: 二、可扩展接口  下面给出了backup相关的层次接口,并显示了各层次功能接口的调用关系。主要分为以下几个层次: 层次 功能 cinder-api的API层接口 暴露给客户端的API接口 cind

Roger_Yu的博客 3388

芯片设计新思路:如何用SystemC+TLM2.0快速搭建ESL性能模型(附GEM5实战案例)

本文探讨了在芯片设计早期利用SystemC和TLM2.0标准快速构建电子系统级(ESL)性能模型的方法。通过对比不同抽象层次,详细介绍了如何搭建事务级模型,并与GEM5仿真平台协同,实现高效的架构探索和性能评估。文章最后通过一个片上网络(NoC)带宽优化的实战案例,展示了该方法如何驱动数据驱动的设计决策,从而在流片前规避风险、优化芯片性能。

fire9的博客 373

华为OD机考双机位C卷 - 信道分配(Java & Python& JS & C/C++ & GO )

华为OD机考双机位C卷 - 信道分配

算法大师! 455

【OpenStack Liberty】cinder service模块启动流程(cinder-backup、cinder-scheduler、cinder-volume)

之前我们在源码准备工作中找到了程序入口。下面我们就四个模块的启动流程进行分析。启动流程大致相同,本着由简入深的原则,先从cinder-backup和cinder-scheduler开始,同时本文也仅记录这两个模块的启动流程。以上就是cinde-scheduler的启动流程,放上主要代码及注释,有时候真的不知道怎么将这些代码思路组织成语言😭,憋字憋的难受,如有错误欢迎指教😘后面有更好的想法再补充。

Wallace_Hsia的博客 898

以阿克曼转向车为例对URDF和XACRO文件进行解读

   最近我在古月学院购买了在Gazebo中实现阿克曼转向车的仿真课程,课程资料的阿克曼小车的XACRO文件在Gazebo里加载的时候报了三个错误,在这之前,我没接触过URDF或XACRO文件,本篇文章就以这个阿克曼小车的XACRO文件为例,对URDF或XACRO文件的格式和内容进行解读,期望经过解读和学习,找到错误原因及所在,并解决这三个错误    先来放一下上面右图所示的模型的完整的XACRO文件: <?xml version="1.0"?> <!-- racecar.urdf.x

慕羽★的博客 3702

OpenStack Victoria版——12.安装和配置备份服务cinder backup

12.安装和配置备份服务cinder backup Install and configure the backup service Cinder Installation Guide Cinder 块存储服务概述 Red Hat Enterprise Linux 和 CentOS 的 Cinder 安装指南 安装和配置控制器节点 安装和配置存储节点 安装和配置备份服务 验证 Cinder 操作 本节将阐述如何部署安装备份服务。 (可选)安装和配置备份服务。为简单起见,此配置使用块存储节点

北观止的博客 907

YOLOv9改进,YOLOv9添加CBAM注意力机制

CBAM是一个简单而有效的注意力模块,用于前馈卷积神经网络。给定一个中间特征图,我们的模块按顺序推断两个独立维度(通道和空间)的注意力图,然后将注意力图乘以输入特征图以进行自适应特征细化。由于 CBAM 是一个轻量级的通用模块,因此它可以无缝集成到任何 CNN 架构中,开销可以忽略不计,并且可以与基础 CNN 一起进行端到端训练。论文链接:(CBAM论文)

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 859

【STK】手把手教你利用STK进行仿真-STK软件简介02 STK专业分析模块

STK/Astrogator是一个交互式轨道机动和深空探测计划工具,用于飞行器运行及任务分析,通过定义推力模型、目标星历、飞行器姿态,提供轨道机动的解决及优化方案。应用Astrogator分析轨道机动的可见性和地面站覆盖,用户可以快速、方便地进行全局分析。任务控制序列保存在STK场景中,用于任务运行、快速制定精确轨道机动方案。为在轨运行的飞行器制定或执行机动计划时,分析人员可以根据飞行过程数据,如发动机定标参数、实际初始轨道,计算出推进器点火和点火时机数据,用于发出指令及精炼机动计划。

weixin_44184852的博客 1866

cinder nfs backend配置实例

NFS export目录为192.168.10.1:/nfsdir,此前已经被cinder volume节点mount至本地/mnt/large目录。 此外,NFS目录必须能让计算节点访问。 root身份登录到cinder volume节点。 由于NFS目录有其他用途,这里创建一个子目录,用来专门保存cinder volume。 # mkdir /mnt/large/cinder编辑

wanghuiict 的优快云博客 1783

springcloud整合dubbo3使用nacos作为注册中心

springcloud整合dubbo3使用nacos作为注册中心

congge 7952

cinder对接nfs后端存储

cinder对接nfs后端存储

FatPuffer 1024

系统安装(kuntaiR522 kvm安装)

鲲泰R522服务器kvm安装rocky

weixin_46396917的博客 1822

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Cinder Create Backup流程

API POST /v3/{project_id}/backups Create a backup Creates a Block Storage backup from a volume or snapshot. The status of the volume must be available or if the force flag is used, backups of in-use volumes may also be created. Workflow This is bases on

余亚飞 906

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Cinder 组件详解

从本节开始我们学习 OpenStack 的 Block Storage Service,Cinder 理解 Block Storage 操作系统获得存储空间的方式一般有两种: 通过某种协议(SAS,SCSI,SAN,iSCSI 等)挂接裸硬盘,然后分区、格式化、创建文件系统;或者直接使用裸硬盘存储数据(数据库) 通过 NFS、CIFS 等 协议,mount 远程的文件

安静的美男子 9176

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

cinder - 备份glusterfs卷到nfs server

cinder backup就是针对cinder volume的备份,后端可以有不同的bakcup driver,如nfs、ceph、swift、glusterfs等。这里演示volume backend为glusterfs,backup backend为nfs。(centos7 环境)一、如何安装配置glusterfs,见http://iceyao.blog.51cto.c...

weixin_34220963的博客 416

openstack kilo 卷备份使用nfs作为后端存储

openstack kilo版本支持了nfs作为卷备份的后端存储

turbo的专栏 815

Cinder对接NFS文件系统实验详解

(8)创建文件/etc/cinder/NFS_share,并写入内容192.168.100.40:/nfs_server,表示把服务端的已经挂载的磁盘挂载到本机上,并把该文件的拥有任何拥有组修改成root:cinder,文件权限为640。(7)创建一个挂载目录/nfs_test,目录名随意,并把服务端(cinder节点)挂载的目录,挂载到客户端(controller),并存入文件测试。(6)在客户端(在本实验中,也就是我的controller节点)测试挂载操作。控制节点配置NFS共享,对接后端存储。

weixin_46113061的博客 1179

解锁高效存储管理:OpenStack Cinder与NFS的完美结合

OpenStack Cinder与NFS后端存储的完美结合:实现高效可扩展的存储管理

weixin_62782025的博客 1326

OpenStack(T版)——块存储(Cinder)服务介绍与安装

OpenStack 块存储(Cinder)是一个用于提供持久性存储的组件,它允许用户创建和管理虚拟机实例所需的块级存储卷。 想象一下,你有一个计算机硬盘,用于存储文件和数据。OpenStack 块存储就像是为虚拟机提供了一个硬盘,供它们存储数据。 使用块存储,你可以创建一个虚拟机需要的存储卷,然后将其附加到虚拟机实例上。这个存储卷就像是一个空白的硬盘,虚拟机可以在上面存储文件、操作系统和其他数据。 块存储的好处是它具有持久性,意味着存储卷中的数据不会随着虚拟机的关闭而丢失。当虚拟机重新启动时,它可以重新

不知道 3911

OpenStack实践(六):Cinder模块Backup and Restore Volume

环境说明:主机名操作系统版本IP地址说明centos7centos7172.27.9.181NFS服务器,挂载点为/backupopenstack-controllerUbuntu 16.04.5172.27.34.37openstack控制节点,本地nfs挂载点为cinder_backupubuntu安装详见:Ubuntu16.04.5以lvm方式安装全记录openstac...

weixin_33729196的博客 377

驱动备份还原命令——驅動備份還原命令——Driver Backup/Restore

以管理員身份啓動命令提示符,輸入以下命令: 1.驅動備份(备份Backup)命令: Dism /online /export-driver /destionation:D:\DriverBackup 其中 D:\DriverBackup 為自定義備份文件夾,需要先創建該文件夾,才能執行該命令。 2.驅動還原(还原Restore)命令: Dism /onli...

weixin_34195364的博客 955

openstack-超融合基础架构之ceph对接openstack glance/nova/cinder/cinder-backup

openstack-miatka超融合基础架构之ceph对接openstack glance/nova/cinder/cinder-backup OpenStack项目中Glance、Nova、Cinder、Swift等服务是项目中存储的服务,服务种类的不同也决定着提供服务的方式不同,在OpenStack的设计中Glance被用于镜像资源的存储,称为镜像服务。Nova则用于虚拟机实例操作和实例资...

大白菜的博客 3013

Cinder服务的基本使用

OpenStack早期版本是使用nova-volume为云平台提供持久性块存储服务。从Folsom版本后,就把作为Nova组成部分的nova-volume分离出来,形成了独立的Cinder组件。Cinder本身并不直接提供块存储设备实际的管理和服务,而是在虚拟机和具体的存储设备之间引入一个抽象的“逻辑存储卷”。

XiaoXinYAYAYA的博客 1401
下一篇: Python3学习笔记之 列表(9)
远虑近忧
博客等级 码龄9年 1粉丝 8原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

远虑近忧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值