Storage
关注
分享
扫一扫
文章平均质量分 84
天健胡马灵越鸟
精于理者，其言易而明；粗于事者，其言浮而狂。
展开
-
linux命令模拟磁盘拔插盘
具体命令如下：1.使用ll /sys/block命令查看磁盘编号，确认需要拔出的磁盘的编号，如 0 0 1 0；# ll /sys/blocksda -> ../devices/pci0000:17/0000:17:02.0/0000:1c:00.0/host0/target0:2:2/0:2:2:0/block/sdasdb -> ../devices/pci0000:17/0000:17:02.0/0000:1c:00.0/host0/target0:2:3/0:2:3:0/原创 2020-10-12 19:51:53 · 5022 阅读 · 0 评论 -
快照机制COW和ROW原理区别
一直对快照的两种模式cow和row区分不开，今天看到一篇文章讲的很清晰。转载过来，希望能给有同样困惑的同学以帮助。所谓快照，是指某数据集在某一时刻一个完全可用的拷贝。也叫即时拷贝。注意是一个完全可用的。如果是在window环境下，则要结合VSS 机制，把应用程序的buffer,文件系统的buffer,操作系统的buffer全部刷向磁盘后，再做快照。当前快照有两种实现，分别是COW（Copy on first write） 和ROW(Redirect on first write).假如有一个卷8转载 2020-08-03 10:42:52 · 8132 阅读 · 0 评论 -
MegaCli 处理raid阵列卡其他阵列配置磁盘混插的问题
常在河边走，哪有不湿鞋，之前再工作中经常会有热拔插磁盘的动作，习惯成自然。遇到一般问题都是热拔插，然鹅有一天发生了一些事情导致这篇文章的诞生，也希望对大家有些帮助事情是这样的 ：自己四台服务器都通过raid卡做了raid5，然后有一位同事说三块盘要写满服务器比较耗时，建议减少磁盘数量。减少磁盘数量，还用说？简单暴力 直接拔盘，当把每台服务器上的两块盘拔下来抱在怀里的时候懵逼了，我的服务器是做了raid5的，当前插回去顺序也忘了，怎么办？插回去？好！当把磁盘都插回去的时候发现他们相会已经不认识了，raid原创 2020-07-02 15:15:05 · 2962 阅读 · 3 评论 -
multipath配置含义解析
默认情况下，multipath已经支持大部分常见的存储型号（可见multipath.conf.defaults），但不同的multipath版本可能都有些不同。这时，建议参考存储的官方文档，但有时候，同一台机器上如果连接了一个以上的存储时，可能默认规则并不完全适用。这时我们可以给特定的存储定制多路径符合的策略。 配置文件的模板默认位于/usr/share/doc/device-mapper-...转载 2020-04-09 10:55:38 · 3118 阅读 · 0 评论 -
Centos7下的zabbix安装与部署
1.Zabbix介绍 zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。 zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。 zabbix由2部分构成，zabbix server与可选组件zabbix agent。 zabbix server可以...转载 2019-11-26 10:07:45 · 287 阅读 · 0 评论 -
OpenStack核心组件原理与应用一
自：https://blog.51cto.com/weiwendi/2161308开头语前段时间对公司测试环境进行了重构，将虚拟化技术从KVM改为了OpenStack集群，并结合了CEPH存储。目前整个集群承担着Dev和测试环境的运行，以及公司内部服务，如Wiki，Git等，目前已稳定运行了一段时间。在部署的整个过程以及使用的这段时间，产生了一些心得也积累了些经验，想分享给更多需要的朋友。...转载 2019-04-29 19:50:45 · 1675 阅读 · 0 评论 -
OpenStack核心组件原理与应用之Keystone
自：https://blog.51cto.com/weiwendi/2162429认证服务介绍在OpenStack核心组件原理与应用一文中，我们介绍了OpenStack的架构及安装前的准备工作，这篇我们来完成 OpenStack 第一个服务——认证服务的部署。上篇“服务与项目名称对照表”中，认证服务的 Service 名字为“Identity Service”，项目名称为“Keysto...转载 2019-04-29 19:51:53 · 817 阅读 · 0 评论 -
OpenStack核心组件原理与应用之Glance
概览OpenStack 镜像服务 Glance 是 IaaS（Infrastructure as a Service，基础设施即服务）的核心服务。允许用户发现、注册和获取虚拟机镜像。它提供了一个 Rest API，允许您查询虚拟机镜像的元数据，并获取镜像。您可以将镜像存储在任何位置，比如文件系统、对象存储，我们采用Ceph集群进行存储。Glance包括以下组件：glance-api：接...转载 2019-04-29 19:52:39 · 668 阅读 · 0 评论 -
基于openstack安装部署私有云详细图文教程
本文主要分享的是云计算、openstack的使用、私有云平台建设、云服务器云硬盘的构建和使用。从基本概念入手到私有云建设，信息量非常大。对于openstack的安装部署都是从官方文档中一步步的介绍，内容非常详细。一、云计算 基本概念云计算（cloud computing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的...转载 2019-04-25 15:29:02 · 6460 阅读 · 0 评论 -
Linux i/o错误码整理
在Linux文件操作以及更底层的IO操作出错的情况下，经常会为该如何返回合适的错误代码而纠结。另外在阅读代码的时候，可能会碰到很多种错误代码，因为不明白它的含义而迷惑。为此，有必要归纳整理一下常见的所有的出错代码及其对应的含义，既方便阅读代码时参考，又便于自己正确选用。显然因为这些代码大都处在用户态，可能会有多个进程或者线程会用到它，因此通常把它们归纳一起放在同一个头文件里。在笔者的Linux...转载 2019-04-15 11:21:52 · 3899 阅读 · 0 评论 -
ceph纠删码分层存储概念及命令
分级缓存分级缓存可提升后端存储内某些（热点）数据的 I/O 性能。分级缓存需创建一个由高速而昂贵存储设备（如 SSD ）组成的存储池、作为缓存层，以及一个相对低速/廉价设备组成的后端存储池（或纠删码编码的）、作为经济存储层。 Ceph 的对象处理器决定往哪里存储对象，分级代理决定何时把缓存内的对象刷回后端存储层；所以缓存层和后端存储层对 Ceph 客户端来说是完全透明的。缓存层代理自动...翻译 2019-04-09 10:40:26 · 1237 阅读 · 0 评论 -
ceph存储pg、object、pool、osd、image对应存储位置查询
pg, osd, pool 之间的一些查找方法1. pg --> osd: 通过 pg 查找 osdceph pg map {pgid}2. osd --> pg: 通过 osd 查找 pgceph pg ls-by-osd osd.{osdid}3. pg --> pool: 通过 pg 查找 poolceph pg dump | grep "^{po...转载 2019-04-15 18:00:34 · 10308 阅读 · 4 评论 -
LINUX 下SQL server 安装、配置及对接ceph功能性能测试
1.安装ceph环境（略）2.安装iscsi 启动器及目标器（略）修改iscsi启动器地址为ceph集群块设备target，然后扫描并登陆启动器，挂载块设备这里最好使用多路径（安装multipath服务），然后将块设备路径挂载在客户端（即sqlserver安装节点上、/mnt/sqlserver）1）查看多路径，[root@client-152 ~]# multipath -ll360...原创 2019-03-27 17:22:48 · 1142 阅读 · 0 评论 -
iscsi挂载文件一致性脚本
最近一直在测试存储，经常涉及到iscsi数据一致性校验，在可靠性测试时候要对比文件一致性，所以写个脚本方便对比校验文件一致性，#! /bin/bash####################################################### verify file md5# updated as 2019/3/26 pansaky############...原创 2019-03-26 15:23:34 · 784 阅读 · 1 评论 -
ceph deep scrub扫描的脚本
有时候在ceph测试过程中需要手动对pg进行深度scrub，甚至对全部osd来做扫描，此种情况写了个脚本以供参考#!/bin/shosd=$1#扫描指定osddo_one(){num=`ceph pg ls-by-primary osd.$1 | grep -i active | awk '{print $1}'|wc -l`cat ${num}for((i=1;i<...原创 2019-03-29 16:39:40 · 1143 阅读 · 0 评论 -
ceph架构/IO原理分析（齐全）
1. Ceph架构简介及使用场景介绍1.1 Ceph简介Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜...转载 2019-03-22 10:07:25 · 3875 阅读 · 0 评论 -
OpenStack核心组件原理与应用之Nova（未完待续）
概览：概览请查看：https://blog.youkuaiyun.com/dylloveyou/article/details/80698420Nova（OpenStack Compute Service）是 OpenStack 最核心的服务，负责维护和管理云环境的计算资源，同时管理虚拟机生命周期。Nova 在整个 OpenStack 架构中的位置如下图：在上图中可以看到，OpenStac...原创 2019-05-09 15:20:10 · 442 阅读 · 0 评论 -
Ceph浅析-ceph从这里入门更好
在学习技术文章入门时候未免枯燥，如果能像读故事一样先全面了解下来龙去脉，然后在像去了解细节一样的学习技术明显会觉得学习的不是那么茫然，目的明确很多，这篇文章带给我的感觉就是这样，收益不小，“Ceph浅析”系列之(—)—Ceph概况“Ceph浅析”系列之(二)—Ceph的设计思想“Ceph浅析”系列之(三)—Ceph的结构“Ceph浅析”系列之(四)——Ceph的工作原理及流程“...原创 2019-10-09 10:21:35 · 1662 阅读 · 0 评论 -
“Ceph浅析”系列之(六)——关于Ceph的若干想法
本篇文章的内容，主要是笔者在调研分析Ceph过程中产生的一些思考。因为其中的内容比较自由发散，且大多是笔者的个人见解，故此另启一文进行讨论。7.1 关于Ceph的性能目前为止，本系列的文章中没有涉及到Ceph性能的详细讨论，也没有给出任何的Ceph性能数据。原因很简单：笔者本人没有机会进行详尽的Ceph性能分析研究，也没有见到比较全面的相关数据。因此，为了避免以...转载 2019-10-09 10:15:13 · 555 阅读 · 1 评论 -
“Ceph浅析”系列之(五)——Ceph与OpenStack
在 《“Ceph浅析”系列之二——Ceph概况》中即已提到，关注Ceph的原因之一，就是OpenStack社区对于Ceph的重视。因此，本文将对Ceph在OpenStack中的价值进行简要介绍，并且对Ceph和Swift进行对比。6.1 Ceph在OpenStack中的地位对于一个IaaS系统，涉及到存储的部分主要是块存储服务模块、对象存储服务模块、镜像管理模块...转载 2019-10-09 10:13:00 · 723 阅读 · 0 评论 -
“Ceph浅析”系列之(四)——Ceph的工作原理及流程
本文将对Ceph的工作原理和若干关键工作流程进行扼要介绍。如前所述，由于Ceph的功能实现本质上依托于RADOS，因而，此处的介绍事实上也是针对RADOS进行。对于上层的部分，特别是RADOS GW和RBD，由于现有的文档中（包括Sage的论文中）并未详细介绍，因而本文或有语焉不详之处，还请读者多多包涵。本文将首先介绍RADOS中最为核心的、基于计算的对象寻址机制，然后说明对...转载 2019-10-09 09:48:41 · 1079 阅读 · 0 评论 -
“Ceph浅析”系列之(三)—Ceph的结构
本文将从逻辑结构的角度对Ceph进行分析。4.1 Ceph系统的层次结构Ceph存储系统的逻辑层次结构如下图所示[1]。 自下向上，可以将Ceph系统分为四个层次：（1）基础存储系统RADOS（Reliable, Autonomic, Distributed Object Store，即可靠的、自动化的、分布...转载 2019-10-09 09:46:24 · 868 阅读 · 0 评论 -
“Ceph浅析”系列之(二)—Ceph的设计思想
分析开源项目，时常遇到的一个问题就是资料不足。有时间写代码的大牛们通常是都是没有时间或者根本不屑于写文档的。而不多的文档通常又是使用手册之类的东西。即便偶尔有设计文档通常也是语焉不详。在这种情况下，想从代码里反向把设计思想提炼出来，毕竟不是人人都能做到的。 值得我们庆幸的是，Ceph是一个典型的起源于学术研究课题的开源项目。虽然学术研究生涯对于Sage而言只是其光辉事迹的短短一篇...转载 2019-10-09 09:44:14 · 865 阅读 · 5 评论 -
“Ceph浅析”系列之(—)—Ceph概况
本文将对Ceph的基本情况进行概要介绍，以期读者能够在不涉及技术细节的情况下对Ceph建立一个初步印象。2.1什么是Ceph？ Ceph的官方网站Ceph.com上用如下这句话简明扼要地定义了Ceph： “Ceph is a unified, distributed storage systemdesigned for excellent...转载 2019-10-09 09:42:39 · 1036 阅读 · 0 评论 -
存储压缩测试
存储测试在压缩功能测试时，有些凌乱，因为一般提供压缩功能的存储大多数会提供重删功能，单纯的测试压缩，定性还是定量，使用什么工具等都是一些比较难选择的问题， 比如说，测试压缩时定性测试首先避开重删，那么要求我们写入的数据在存储后端切块后不会有重复数据，如何搞？ 下面聊聊一个本办法的思路， 1，后端数据切块多大 ？如 切块4k存储，我们就给他写4k数据，要...原创 2019-07-01 20:16:54 · 1278 阅读 · 0 评论 -
ALL in one openstack环境部署
1、环境信息1台虚拟机8C16GCentOS 7.22、准备工作#!/bin/bashset -x #配置aliyun的centos和epel mirrormkdir /etc/yum.repos.d.backupmv /etc/yum.repos.d/* /etc/yum.repos.d.backupcurl -o /etc/yum.repos.d/Cen...转载 2019-06-14 11:28:44 · 551 阅读 · 0 评论 -
KVM qcow2、raw、vmdk等镜像格式和转换
云计算用一个朋友的话来说:”做云计算最苦逼的就是得时时刻刻为一些可能一辈子都碰不到的事做好准备。更苦逼的就是刚以为一个问题不会遇到，立刻就发生了。。。“。这个还真的没有办法，谁让哥我是搞云计算的呢，简单一个虚拟化就搞的你蛋疼，你还能想其它的吗？一直纠结在做虚拟化使用什么镜像格式，刚刚开始用了raw的file，后来发现LVM的很多特性对于虚拟化还是有比较理想的能力，而且性能也很不错就用了LVM。...转载 2019-06-13 15:53:44 · 6802 阅读 · 0 评论 -
Ceph对接Openstack配置及问题解决
技术堆栈Ceph的一个使用场景是结合Openstack来提供云存储服务，Openstack到Ceph之间的调用堆栈就是下面这个结构：三大模块Openstack对接Ceph，有3大模块可以使用Ceph:镜像Openstack的Glance组件提供镜像服务，可以将Image直接存储在Ceph中。操作系统盘Openstack的Nova组件提供计算服务，一个虚机的创建必然需要操作...转载 2019-06-13 08:06:13 · 2500 阅读 · 0 评论 -
虚拟化技术原理
CPU虚拟化一个KVM(kernel-based virtual machine)虚拟机在宿主机上就是一个 qemu-kvm进程，与其他Linux进程一样被调用。 虚拟机的每个虚拟CPU则对应 qemu-kvm进程中的一个进程。 因此，虚拟CPU可以超过物理CPU的数量，叫CPU超配。内存虚拟化KVM通过内存虚拟化共享物理系统内存，动态分配给虚拟机。image为了在一台机器...转载 2019-06-12 17:04:43 · 5495 阅读 · 0 评论 -
分布式存储纠删码原理
Erasure Code原理https://blog.youkuaiyun.com/shelldon/article/details/54144730附 开源实现jerasure开源实现git@lab.jerasure.org:jerasure/jerasure.githttp://lab.jerasure.org/jerasure/jerasure.gitgit@lab.jerasur...转载 2019-03-14 16:45:18 · 2025 阅读 · 0 评论 -
ISCSI linux/windows配置及使用
第1章 iSCSI简介1.1 scsi和iscsi传统的SCSI技术是存储设备最基本的标准协议，但通常需要设备互相靠近并用SCSI总线连接，因此受到物理环境的限制。iSCSI(Internet Small Computer System Interface)，顾名思义，iSCSI是网络上的SCSI，也就是通过网络连接的SCSI。它是由IBM公司研究开发用于实现在IP网络上运行SC...转载 2019-03-04 14:09:59 · 6329 阅读 · 0 评论 -
LINUX循环杀自动拉起进程脚本
在日常测试过程中我们往往需要循环杀死某一些自动拉起的进程去模拟进程故障场景，这种情况下就需要一些脚本辅助，以下提供一个循环杀死进程的脚本，可以根据模拟进程拉起的时间灵活调整kill时间间隔，具体看脚本注释以下为ceph测试过程中osd进程kill脚本，大家可根据自己需求灵活调整#!/bin/bash############################################...原创 2019-03-06 11:06:14 · 3068 阅读 · 0 评论 -
清晰的理解pg与pgp之间的关系
这里先说下ceph中PG和PGP使用的一个典型场景，ceph中PG数是可以修改的，但是目前只能从小到大修改 ，那么就会有一种情况PG数修改变大后就会存在PG分裂的场景。如源集群PG为PG1/2/3 修改PG数为PG1/2/3/4/5后ceph为了保证存储数据平滑分裂引入PGP概念，PGP就是用来保存分裂前PG的状态，意为PG初始状态或PG祖先。所以修改PG数后PG分布不回引起太大的变化，但如果同...原创 2018-10-31 19:35:40 · 3093 阅读 · 2 评论 -
大话Ceph--CRUSH那点事儿（ceph存储流程原理简析）
引言那么问题来了，把一份数据存到一群Server中分几步？Ceph的答案是：两步。 计算PG 计算OSD 计算PG首先，要明确Ceph的一个规定：在Ceph中，一切皆对象。不论是视频，文本，照片等一切格式的数据，Ceph统一将其看作是对象，因为追其根源，所有的数据都是二进制数据保存于磁盘上，所以每一份二进制数据都看成一个对象，不以它们的格式来区分他们。那...转载 2018-11-01 21:05:42 · 1463 阅读 · 3 评论 -
大话Ceph--RBD那点事儿
引言这篇文章主要介绍了RBD在Ceph底层的存储方式，解释了RBD的实际占用容量和RBD大小的关系，用几个文件的例子演示了文件在RBD(更恰当的是xfs)中的存储位置，最后组装了一个RBD，给出了一些FAQ。RBD是什么RBD : Ceph’s RADOS Block Devices , Ceph block devices are thin-provisioned, resizab...转载 2018-11-01 21:08:20 · 11407 阅读 · 0 评论 -
大话Ceph--PG那点事儿
引言PG，Placement Group，中文翻译为归置组，在ceph中是一个很重要的概念，这篇文章将对PG进行深入浅出的讲解。PG是什么PG就是目录！我事先搭建了一个3个host, 每个host有3个OSD的集群，集群使用3副本，min_size为2。集群状态如下： 1 2 3 4 5 6 7...转载 2018-11-01 21:16:36 · 7825 阅读 · 1 评论 -
PG如何影响数据分布
引言有位朋友(下文简称小明)的集群OSD数据分布很不均匀，最多的OSD已经被使用了90%，而最少的才用了40%，这种现象的原因基本上可以确定为PG总数设置少了，再加上经常有朋友会问及到每个Pool的PG数该怎么设置，我这里就说下PG对数据分布的影响。因为怎么做官网的pg计算器已经讲得很明确了，我主要想介绍下为什么要这么做。实验环境准备这里我完全重搭建出了小明的集群环境，需要他提...转载 2018-11-01 21:18:41 · 1109 阅读 · 0 评论 -
【详细齐全】FIO使用方法 及参数解析（文章末尾）
linux 使用FIO测试磁盘iops 方法详解FIO是测试IOPS的非常好的工具，用来对硬件进行压力测试和验证，支持13种不同的I/O引擎， 包括:sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等。fio 官网地址：http://freshmeat.net/pr...原创 2018-11-03 17:44:49 · 28804 阅读 · 1 评论 -
图文并茂raid技术详解（raid大全）
RAID 技术相信大家都有接触过，尤其是服务器运维人员，RAID 概念很多，有时候会概念混淆。这篇文章为网络转载，写得相当不错，它对 RAID 技术的概念特征、基本原理、关键技术、各种等级和发展现状进行了全面的阐述，并为用户如何进行应用选择提供了基本原则，对于初学者应该有很大的帮助。一、RAID 概述 1988 年美国加州大学伯克利分校的 D. A. Patterson 教授等首次在论文...转载 2018-11-06 15:27:46 · 20891 阅读 · 0 评论 -
存储分类及对象存储osd的技术原理
什么是对象存储（OSD）？存储局域网(SAN)和网络附加存储(NAS)是我们比较熟悉的两种主流网络存储架构，而对象存储（Object-based Storage）是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device）简称OSD。对象存储的发展历史：1999年成立的全球网络存储工业协会(SNIA)的对象存储设备(Object S...转载 2018-11-07 11:23:24 · 21035 阅读 · 1 评论