DeamonXiao的博客

原创 ubuntu20 编译 TiFlash

下载源码git clone --recursive https://github.com/pingcap/tiflash.git安装 rustupcurl https://sh.rustup.rs -sSf | sh -s -- -y --profile minimal --default-toolchain nightlysource $HOME/.cargo/env安装 llvm# 1. 添加 llvm 源# 在 https://apt.llvm.org/ 页面找到 ubu.

原创 Vmware中CentOS7配置静态ip

编辑->虚拟网络编辑器用nat模式，不要勾选DHCP点击“NAT设置“，记录子网ip，子网掩码和网关，在CentOS中，编辑网卡配置，通过“ip addr“查看网络配置输入 vi /etc/sysconfig/network-scripts/ifcfg-{网卡名称}输入以下内容ONBOOT=yesBOOTPROTO=“static” #设置为静态ipIPADDR=“192.168.159.101” #想要配置的ip地址NETMASK=“255.255.255...

原创 rbd对象探究

rbd对象探究1. rbd镜像的创建与使用为了更直观的感受rbd对象，本文从创建rbd池开始，构建了一个模拟的rbd使用环境，并以此探究rbd的对象。首先是rbd池的创建与使用：服务端：1.创建rbd池[root@node-1 ~]# ceph osd pool create rbd-pool 64 64 && rbd pool init rbd-pool2.创建块设备镜像[root@node-1 ~]# rbd create --size 1024 rbd-pool/rbd

原创 OSD故障处理总结

参考链接：https://docs.ceph.com/en/latest/rados/troubleshooting/troubleshooting-osd/#troubleshooting-osdsOSD故障处理总结在定位OSD故障之前，首先检查MON和网络。执行ceph health或ceph -s命令，如果发现MON有报错，应当去MON上定位问题。其次检查网络是否正常运行，因为OSD的性能极大程度地受到网络影响。在主机端检查丢包，在交换机端检查CRC错误。获取OSDs的数据信息要查看是否所.

原创 Raft 8问

Raft 8问state所有服务器上持久化：（在响应RPC之前更新到持久化存储）currentTerm：服务器发现到的最新term，或者说是服务器当前term。（从0递增）votedFor：当前term中，投票给的Candidate服务器的ID号。（null表示没有投票给谁）log[]：日志实体。包含给状态机的命令、收到此log时的term。（序号从1开始）所有服务器上非持久化：commitIndex：当前服务器上已提交最高日志序号，此序号被大部分服务器写入log[]，因此可理解为可

原创 CEPH iSCSI GateWay 编译部署安装

参考链接：https://docs.ceph.com/en/latest/rbd/iscsi-overview/https://www.enterprisestorageforum.com/storage-hardware/iscsi.htmlhttps://www.kernel.org/doc/html/latest/target/tcmu-design.htmlCEPH iSCSI GateWay 编译部署安装iSCSI 网关要求改写配置文件，降低默认的心跳间隔（检测关闭的OSD），减少.

原创 CentOS中C++开发环境配置

CentOS7中C++开发环境配置配置yum源源仓库位于/etc/yum.repo.d/换源后执行yum makecache yum upgrade安装软件yum install -y gcc g++ gcc-c++ make automake texinfo wget openssl openssl-devel安装cmake下载cmake wget https://cmake.org/files/v3.16/cmake-3.16.8.tar.gz解压并构建tar -xf cma

原创 Ceph测试工具总结

fioFio最初的编写目的是为了避免出于性能原因或查找/重现错误而要测试特定工作负载时编写特殊测试用例程序的麻烦。编写这样一个测试应用程序的过程可能很麻烦，尤其是在您必须经常这样做的情况下。因此，我需要一个能够模拟给定I / O工作负载而又无需一次又一次地编写定制的测试用例的工具。命令格式fio [options] [job options] <job files>参数介绍参数名称参数说明-filename文件名称，通常为块设备路径 /dev/sdb。使用 fi

原创 块测试工具

echo 3 > /proc/sys/vm/drop_cachefree同过 free 命令可以查看缓存情况[root@node-1 ~]# free -m total used free shared buff/cache availableMem: 1819 558 995 9 264 1109Swap:

原创 文件系统测试工具

参考链接：https://blog.youkuaiyun.com/liuaigui/article/details/7240706pjdftest测试 posix 接口工具。安装教程git clone https://github.com/pjd/pjdfstest.gitcd pjdfstest/autoreconf ifs./configuremake pjdfstest使用方法 # cd /path/to/filesystem/under/test # prove -rv /pa.

原创 ceph打rpm包

安装npmsudo yum install npm sudo yum install rpm-build rpmdevtoolsrpmdev-setuptree编译git clone https://github.com/ceph/ceph.gitcd /root/ceph./install-deps.sh./do_cmake.shcd /root/ceph/buildmake -j 64生成源码包cd /root/ceph./make-dist 14.2.7拷贝压缩包cp

原创 ceph编译及虚拟机环境搭建

虚拟机前置通用步骤：配置静态ip、更换yum源、安装git。机器配置建议：内存8G以上，硬盘容量40G以上。系统：Centos 7配置代理使用 export 命令，每次重启电脑都需要重新开启代理，可以通过向 /etc/profile.d/proxy.sh 写入环境变量来持久化 ip 代理。#ip代理 export http_proxy=http://192.168.30.216:7890export https_proxy=https://192.168.30.216:7890#关闭i

原创 Ceph环境搭建及集群部署

原创 rados常用命令

rados是一个用于与Ceph对象存储集群(rados)交互的实用程序，是Ceph分布式存储系统的一部分。基本命令[root@node-1 ceph-deploy]# rados -husage: rados [options] [commands]POOL COMMANDS lspools list pools cppool <pool-name> <dest-pool> copy content of a

原创 rados tools

rados bench 是 Ceph 自带的用来测试存储池性能的压测工具，其 main 函数在 src/tools/rados/rados.cc 中。rados.cc 集成了 rados 所有 bash 命令，可以通过 rados -h 查看帮助。开篇点题，让我们看看执行 rados bench 时，哪些线程被偷偷启动了。#在一个终端开启 rados bench[root@localhost build]# ./bin/rados -p rbd bench 60 write#在另一个终端监控 rad

原创 PG常见故障及处理

PG异常状态详解及故障总结参考：https://www.jianshu.com/p/36c2d5682d87https://blog.youkuaiyun.com/wylfengyujiancheng/article/details/89235241?utm_medium=distribute.pc_relevant.none-task-blog-2defaultbaidujs_baidulandingword~default-1.no_search_link&spm=1001.2101.3001.42

原创 CRUSH与PG分布

参考资料：《Ceph 之 RADOS 设计原理与实现》https://docs.ceph.com/en/latest/rados/operations/crush-map/http://strugglesquirrel.com/2019/02/02/ceph%E8%BF%90%E7%BB%B4%E5%A4%A7%E5%AE%9D%E5%89%91%E4%B9%8B%E9%9B%86%E7%BE%A4osd%E4%B8%BAfull/https://docs.ceph.com/en/latest/r.

原创 crush算法

参考资料：《Ceph 设计原理与实现》CRUSH（Controlled Replication Under Scalable Hashing），是一种基于哈希的数据分布算法。以数据唯一标识符、当前存储集群的拓扑机构以及数据备份策略作为 CRUSH 输入，可以随时随地通过计算获取数据所在的底层存储设备位置并直接与其通信，从而避免查表操作，实现去中心化和高度并发。1 straw 与 starw2straw 算法将所有元素比作吸管，针对指定输入，为每个元素随机计算一个长度，最后从中选择长度最长的那个元素

原创 Cache tier使用文档

参考链接：https://docs.ceph.com/en/latest/rados/operations/cache-tiering/#Cache TieringCache Tiering 是 Ceph 中一种自动分层存储的技术，其中有两种存储池：高速池（缓存池，由 SSD 等高速设备组成）作为缓存层、低速池（数据池，由 HDD 等低速设备组成）作为数据层。对于客户端来说，Cache Tiera 是无感知的，它们把数据发给 Objector Handles，并不关心数据是写到高速池或是低速池。这.

原创 Cache Tiering

参考资料：《Ceph源码分析》https://my.oschina.net/u/2460844/blog/788172Cache Tier一、简介Cache Tiering是Ceph中一种自动分层存储的技术，其中有两种存储池：高速池（缓存池，由SSD等高速设备组成）作为缓存层、低速池（数据池，由HDD等低速设备组成）作为数据层。对于客户端来说，Cache Tier是无感知的，它们把数据发给Objector Handles，并不关心数据是写到高速池或是低速池。这些内部数据流动由tiering a.

原创 objectstore and transaction api文档

ObjectStore apiObjectStore 是 BlueStore 的父类，通过研究 ObjectStore 的文档，可以清楚 BlueStore 对外提供了哪些功能。大部分功能都是向 OSD 提供，在 /src/osd/OSD.cc 中被调用。create创建一个 ObjectStore 实例。只会在初始化时调用一次。 /** * create - create an ObjectStore instance. * * This is invoked once at

原创 fio_engine_os_message

Ceph 针对 fio 测试工具提供了多种引擎，用于适应不同测量对象的情况。本文将介绍其中的 fio_ceph_objectstore 和 fio_ceph_message 引擎。1. fio_ceph_objectstore1.1 安装步骤打开 DWITH_FIO，编译 fio_ceph_objectstore。./do_cmake.sh -DWITH_FIO=ONcd buildmake fio_ceph_objectstore把编译得到 libfio_ceph_objectst

原创 ceph-kvstore-tool

ceph-kvstore-tool 使用说明参考链接：https://github.com/ceph/ceph/blob/master/doc/man/8/ceph-kvstore-tool.rsthttp://www.idcat.cn/ceph-kvstore-tool%E5%B7%A5%E5%85%B7%E7%AE%80%E5%8D%95%E4%BB%8B%E7%BB%8D.htmlhttps://blog.youkuaiyun.com/Z_Stand/article/details/98967671

原创 ceph-bluestore-tool

ceph-bluestore-tool 使用说明参考链接：https://github.com/ceph/ceph/blob/master/doc/man/8/ceph-bluestore-tool.rsthttps://blog.youkuaiyun.com/weixin_39757040/article/details/1117021621. 简介ceph-bluestore-tool 是一个对 BlueStore 实例执行低级管理操作的实用工具。[root@node-1 ceph-objectst

原创 ceph-objectstore-tool

ceph-objectstore-tool 使用说明参考链接：https://github.com/ceph/ceph/blob/master/doc/man/8/ceph-objectstore-tool.rsthttps://github.com/ceph/ceph/blob/master/src/tools/ceph_objectstore_tool.ccceph-objectstore-tool 是 ceph 提供的一个操作 pg 及 pg 里面对象的工具。ceph-objectsto

原创 Cache in BlueStore

Cache in BlueStore代码量不大，所以全部贴出。CacheShardCacheShard 是整个BlueStore中实现Cache的基类。 /// A generic Cache Shard struct CacheShard { CephContext *cct; PerfCounters *logger; // 注意cache的操作一定要线程安全，这里创建一个锁 /// protect lru and other structures

原创 BlueStore 架构及原理分析

BlueStore 架构及原理分析Ceph 底层存储引擎经过了数次变迁，目前最常用的是 BlueStore，在 Jewel 版本中引入，用来取代 FileStore。与 FileStore 相比，Bluesore 越过本地文件系统，直接操控裸盘设备，使得 I/O 路径大大缩短，提高了数据读写效率。并且，BlueStore 在设计之初就是针对固态存储，对目前主力的 SATA SSD 有着更好的支持（相比 FileStore），同时也支持 Nvme SSD 超高速固态。在数据的处理上，BlueStore 选择