Ceph实战入门系列(一)——三节点Ceph集群的安装与部署

Ceph 多节点集群部署 Ceph简介 Ceph是一个开源的 PB 级分布式文件系统,它有着优秀的性能、可靠性和可扩展性。Ceph 独一无二地用统一的系统提供了对象、块、和文件存储功能。Ceph 的强大足以改变贵公司的 IT 基础架构、和管理海量数据的能力。Ceph 可提供极大的伸缩性——供成千用户访问 PB 乃至 EB 级的数据。 Ceph 节点以普通硬件和智能守护进程作为支撑点, Ceph 存储集群组织起了大量节点, 阅读详情

配置环境

环境说明

  • 在Win7下安装vmware软件,用CentOS-7.2创建一台centos7.2-mini虚拟机,安装完后把内存改为512MB就足够了,如果是用来实践的话。
  • 基于上面的虚拟机链接克隆3台虚拟机

修改hostname

# 分别在3个host上执行
[root@localhost ~]# hostnamectl set-hostname ceph6
[root@localhost ~]# hostnamectl set-hostname ceph7
[root@localhost ~]# hostnamectl set-hostname ceph8

配置解析

# 全体都有,并测试网络是否连通
[root@ceph8 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.103.139 ceph6
192.168.103.140 ceph7
192.168.103.138 ceph8

配置防火墙启用端口

# 全体都有
[root@ceph6 ~]# firewall-cmd --zone=public --add-port=6789/tcp --permanent 
success
[root@ceph6 ~]# firewall-cmd --zone=public --add-port=6800-7100/tcp --permanent 
success
[root@ceph6 ~]# firewall-cmd --reload
success
[root@ceph6 ~]# firewall-cmd --zone=public --list-all 
public (default, active)
  interfaces: eno16777736
  sources: 
  services: dhcpv6-client ssh
  ports: 6789/tcp 6800-7100/tcp
  masquerade: no
  forward-ports: 
  icmp-blocks: 
  rich rules: 

禁用SELINUX

# 全体都有
[root@ceph6 ~]# setenforce 0
[root@ceph6 ~]# vim /etc/selinux/config 
[root@ceph6 ~]# cat /etc/selinux/config | grep disabled
#     disabled - No SELinux policy is loaded.
SELINUX=disabled

配置网络

# 全体都有;公司内部开发网需要单独设置
[root@ceph6 ~]# cat /etc/yum.conf 
[main]
cachedir=/var/cache/yum/$basearch/$releasever
keepcache=0
debuglevel=2
logfile=/var/log/yum.log
exactarch=1
obsoletes=1
gpgcheck=1
plugins=1
installonly_limit=5
bugtracker_url=http://bugs.centos.org/set_project.php?project_id=23&ref=http://bugs.centos.org/bug_report_page.php?category=yum
distroverpkg=centos-release
Proxy=http://dev-proxy.oa.com:8080/

[root@ceph6 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.14.87.100 dev-proxy.oa.com

设置全局代理

# 全体都有;公司网络限制,需要设置全局代理,需要重启主机(poweroff命令,再开机)
http_proxy=dev-proxy.oa.com:8080
https_proxy=dev-proxy.oa.com:8080
export http_proxy https_proxy

安装配置ntp服务

# 全体都有, 10.14.0.131是公司的ntp server
[root@ceph6 ~]# cat /etc/ntp.conf | grep server | grep -v '#'
server 10.14.0.131

wget下载rpm;代理

# wget代理下载rpm,发现不能install,不知道原因
[root@ceph6 ~]# wget http://dev-proxy.oa.com:8080/ http://download.ceph.com/rpm-giant/el7/noarch/ceph-release-1-0.el7.noarch.rpm -e http_proxy=dev-proxy.oa.com:8080/

Ceph安装与部署

安装部署工具

[root@ceph6 ~]# yum install -y ceph-deploy

初始化monitor

# 在ceph6上操作
[root@ceph6 ~]# mkdir /etc/ceph
[root@ceph6 ~]# cd /etc/ceph/
[root@ceph6 ceph]# ceph-deploy new ceph6
[root@ceph6 ceph]# ls
ceph.conf  ceph.log  ceph.mon.keyring

免密码登录

# 在ceph6上操作
[root@ceph6 ~]# ssh-keygen 
[root@ceph6 ~]# ssh-copy-id root@ceph7
[root@ceph6 ~]# ssh-copy-id root@ceph8

远程安装部署

# 网络问题;通过第一步的设置全局代理并未解决
[root@ceph6 ~]# ceph-deploy install ceph6 ceph7 ceph8
# 省略
[ceph6][DEBUG ] 
[ceph6][DEBUG ] Complete!
[ceph6][DEBUG ] Configure Yum priorities to include obsoletes
[ceph6][WARNIN] check_obsoletes has been enabled for Yum priorities plugin
[ceph6][INFO  ] Running command: rpm --import https://download.ceph.com/keys/release.asc
[ceph6][WARNIN] curl: (7) Failed to connect to 2607:f298:6050:51f3:f816:3eff:fe71:9135: Network is unreachable
[ceph6][WARNIN] error: https://download.ceph.com/keys/release.asc: import read failed(2).
[ceph6][ERROR ] RuntimeError: command returned non-zero exit status: 1
[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: rpm --import https://download.ceph.com/keys/release.asc

独立安装部署

[root@ceph7 ~]# ceph-deploy install ceph7
[root@ceph8 ~]# ceph-deploy install ceph8因为暂时没有找到在哪里修改这个版本信息,故采用手动安装(三台机都需要)
$ sudo yum install -y yum-plugin-priorities
$ sudo rpm -Uvh http://download.ceph.com/rpm-hammer/el7/noarch/ceph-release-1-0.el7.noarch.rpm
$ sudo yum -y install ceph

搭建集群

创建OSD

# 列出ceph6上所有的可用磁盘
[root@ceph6 ceph]# ceph-deploy disk list ceph6
# disk zap 子命令删除现有分区表和磁盘内容
[root@ceph6 ceph]# ceph-deploy disk zap ceph6:sdb ceph6:sdc ceph6:sdd
[root@ceph6 ceph]# ceph-deploy disk zap ceph7:sdb ceph7:sdc ceph7:sdd
[root@ceph6 ceph]# ceph-deploy disk zap ceph8:sdb ceph8:sdc ceph8:sdd
# osd create 子命令首先准备磁盘(用xfs文件系统格式化磁盘),然后激活磁盘的第一、第二个分区,作为数据分区和日志分区
[root@ceph6 ceph]# ceph-deploy osd create ceph6:sdb ceph6:sdc ceph6:sdd
[root@ceph6 ceph]# ceph-deploy osd create ceph7:sdb ceph7:sdc ceph7:sdd
[root@ceph6 ceph]# ceph-deploy osd create ceph8:sdb ceph8:sdc ceph8:sdd
# 检查ceph的状态
[root@ceph6 ceph]# ceph -s
    cluster 8ea4fa79-3b6b-4de3-8cfb-a0922d6827c5
     health HEALTH_WARN
            too few PGs per OSD (21 < min 30)
     monmap e1: 1 mons at {ceph6=192.168.103.139:6789/0}
            election epoch 3, quorum 0 ceph6
     osdmap e43: 9 osds: 9 up, 9 in
            flags sortbitwise
      pgmap v95: 64 pgs, 1 pools, 0 bytes data, 0 objects
            307 MB used, 134 GB / 134 GB avail
                  64 active+clean
# 解决HEALTH_WARN
[root@ceph6 ceph]# ceph osd pool set rbd pg_num 128
[root@ceph6 ceph]# ceph osd pool set rbd pg_num 128
[root@ceph6 ceph]# ceph -s
    cluster 8ea4fa79-3b6b-4de3-8cfb-a0922d6827c5
     health HEALTH_OK
     monmap e1: 1 mons at {ceph6=192.168.103.139:6789/0}
            election epoch 3, quorum 0 ceph6
     osdmap e48: 9 osds: 9 up, 9 in
            flags sortbitwise
      pgmap v130: 128 pgs, 1 pools, 0 bytes data, 0 objects
            309 MB used, 134 GB / 134 GB avail
                 128 active+clean

部署奇数个数的monitor

# 将公共网络地址添加到配置文件
[root@ceph6 ceph]# cat /etc/ceph/ceph.conf 
[global]
fsid = 8ea4fa79-3b6b-4de3-8cfb-a0922d6827c5
mon_initial_members = ceph6,ceph7,ceph8
mon_host = 192.168.103.139,192.168.103.140,192.168.103.138
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
public network = 192.168.103.0/24

# 使用ceph-deploy命令在ceph7和ceph8上创建一个monitor
[root@ceph6 ceph]# ceph-deploy mon create ceph7 --overwrite-conf
[root@ceph6 ceph]# ceph-deploy --overwrite-conf mon create ceph8

实践使用ceph集群

检查Ceph的状态

[root@ceph6 ceph]# ceph -s
    cluster 8ea4fa79-3b6b-4de3-8cfb-a0922d6827c5
     health HEALTH_OK
     monmap e3: 3 mons at {ceph6=192.168.103.139:6789/0,ceph7=192.168.103.140:6789/0,ceph8=192.168.103.138:6789/0}
            election epoch 8, quorum 0,1,2 ceph8,ceph6,ceph7
     osdmap e48: 9 osds: 9 up, 9 in
            flags sortbitwise
      pgmap v130: 128 pgs, 1 pools, 0 bytes data, 0 objects
            309 MB used, 134 GB / 134 GB avail
                 128 active+clean
[root@ceph6 ceph]# ceph status
    cluster 8ea4fa79-3b6b-4de3-8cfb-a0922d6827c5
     health HEALTH_OK
     monmap e3: 3 mons at {ceph6=192.168.103.139:6789/0,ceph7=192.168.103.140:6789/0,ceph8=192.168.103.138:6789/0}
            election epoch 8, quorum 0,1,2 ceph8,ceph6,ceph7
     osdmap e48: 9 osds: 9 up, 9 in
            flags sortbitwise
      pgmap v130: 128 pgs, 1 pools, 0 bytes data, 0 objects
            309 MB used, 134 GB / 134 GB avail
                 128 active+clean

观察集群健康状态

[root@ceph6 ceph]# ceph -w
    cluster 8ea4fa79-3b6b-4de3-8cfb-a0922d6827c5
     health HEALTH_OK
     monmap e3: 3 mons at {ceph6=192.168.103.139:6789/0,ceph7=192.168.103.140:6789/0,ceph8=192.168.103.138:6789/0}
            election epoch 8, quorum 0,1,2 ceph8,ceph6,ceph7
     osdmap e48: 9 osds: 9 up, 9 in
            flags sortbitwise
      pgmap v130: 128 pgs, 1 pools, 0 bytes data, 0 objects
            309 MB used, 134 GB / 134 GB avail
                 128 active+clean

2016-11-09 10:01:39.675477 mon.0 [INF] from='client.4174 :/0' entity='client.admin' cmd=[{"prefix": "auth get-or-create", "entity": "client.bootstrap-mds", "caps": ["mon", "allow profile bootstrap-mds"]}]: dispatch

检查Ceph monitor仲裁状态

[root@ceph6 ceph]# ceph quorum_status --format json-pretty

{
    "election_epoch": 8,
    "quorum": [
        0,
        1,
        2
    ],
    "quorum_names": [
        "ceph8",
        "ceph6",
        "ceph7"
    ],
    "quorum_leader_name": "ceph8",
    "monmap": {
        "epoch": 3,
        "fsid": "8ea4fa79-3b6b-4de3-8cfb-a0922d6827c5",
        "modified": "2016-11-09 10:01:31.732730",
        "created": "2016-11-08 22:36:48.791105",
        "mons": [
            {
                "rank": 0,
                "name": "ceph8",
                "addr": "192.168.103.138:6789\/0"
            },
            {
                "rank": 1,
                "name": "ceph6",
                "addr": "192.168.103.139:6789\/0"
            },
            {
                "rank": 2,
                "name": "ceph7",
                "addr": "192.168.103.140:6789\/0"
            }
        ]
    }
}

导出Ceph monitor信息

[root@ceph6 ceph]# ceph mon dump
dumped monmap epoch 3
epoch 3
fsid 8ea4fa79-3b6b-4de3-8cfb-a0922d6827c5
last_changed 2016-11-09 10:01:31.732730
created 2016-11-08 22:36:48.791105
0: 192.168.103.138:6789/0 mon.ceph8
1: 192.168.103.139:6789/0 mon.ceph6
2: 192.168.103.140:6789/0 mon.ceph7

检查集群使用状态

[root@ceph6 ceph]# ceph df
GLOBAL:
    SIZE     AVAIL     RAW USED     %RAW USED 
    134G      134G         309M          0.22 
POOLS:
    NAME     ID     USED     %USED     MAX AVAIL     OBJECTS 
    rbd      0         0         0        45942M           0 

检查Ceph monitor、OSD和PG(配置组)状态

[root@ceph6 ceph]# ceph mon stat
e3: 3 mons at {ceph6=192.168.103.139:6789/0,ceph7=192.168.103.140:6789/0,ceph8=192.168.103.138:6789/0}, election epoch 8, quorum 0,1,2 ceph8,ceph6,ceph7
[root@ceph6 ceph]# ceph osd stat
     osdmap e48: 9 osds: 9 up, 9 in
            flags sortbitwise
[root@ceph6 ceph]# ceph pg stat
v130: 128 pgs: 128 active+clean; 0 bytes data, 309 MB used, 134 GB / 134 GB avail

列表PG

[root@ceph6 ceph]# ceph pg dump

列表Ceph存储池

[root@ceph6 ceph]# ceph osd lspools
0 rbd,

检查OSD的CRUSH map

[root@ceph6 ceph]# ceph osd tree
ID WEIGHT  TYPE NAME      UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-1 0.13129 root default                                     
-2 0.04376     host ceph6                                   
 0 0.01459         osd.0       up  1.00000          1.00000 
 1 0.01459         osd.1       up  1.00000          1.00000 
 2 0.01459         osd.2       up  1.00000          1.00000 
-3 0.04376     host ceph7                                   
 3 0.01459         osd.3       up  1.00000          1.00000 
 4 0.01459         osd.4       up  1.00000          1.00000 
 5 0.01459         osd.5       up  1.00000          1.00000 
-4 0.04376     host ceph8                                   
 6 0.01459         osd.6       up  1.00000          1.00000 
 7 0.01459         osd.7       up  1.00000          1.00000 
 8 0.01459         osd.8       up  1.00000          1.00000 

列表集群的认证密钥

[root@ceph6 ceph]# ceph auth list
多节点Openstack部署CEPH 一.CEPH简介 Ceph概述 ceph是一个统一的分布式存储系统,设计初衷是提供较好的性能、可靠性和扩展性 ceph项目最早其源于Sage就读博士期间的工作(最早的成果于2004年发表),并随后贡献给开源社区。在经过了数年的发展之后,目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。 Ceph的特点 高性能 摒弃了... 阅读详情

相关推荐

Ceph搭建过程中遇到的各种问题

人们在选择存储系统的时候,往往会考虑到它的存储能力、容错冗余机制、负载均衡等等。Ceph是一个非常好的分布式存储系统,可以无限制的扩展你的集群,并且它是一个块存储、对象存储和文件系统统一的分布式文件系统。所以很多公司都会选择ceph作为存储系统。 那么我们在进行ceph快速搭建的时候往往会遇到很多问题,我这边把我所遇到的问题总结了一下,请大家多多指教! 安装过程 #ceph-de

sinat_36023271的博客 2万+

ceph学习之路1:虚拟机安装ceph

Ceph简介 eph的设计目标是是在廉价的存储介质上构建具有 high performance, high scalibility, high available,提供统一存储,分文件存储,块存储,对象存储。最近看了相关文档觉得挺有意思,而且它已经能为openstack提供块存储,非常贴合主流趋势。 Ceph部署   1、主机准备   实验环境为Vmware虚拟机机上进行实验,主要是为

WANGJIEBJBN1的博客 3928

一文掌握Cephadm部署Ceph存储集群

❤️ 摘要:随着企业数据量的增长和存储需求的复杂化,Ceph因其高可扩展性和灵活性,能够同时提供对象存储、块存储和文件存储三种服务,成为云计算、数据中心以及企业级应用中的核心存储方案。在本篇博客中,我们将使用Cephadm快速部署ceph集群,从浅到深了解和部署ceph集群。

StevenZeng学堂 4696

Ceph集群部署(基于ceph-deploy)

一个集群自动化部署工具,使用较久,成熟稳定,被很多自动化工具所集成,可用于生产部署。3.admin管理节点配置ssh免密登录node节点。部署Ceph实验(基于ceph-deploy)2.安装ceph-deploy部署工具。10.解决HEALTH_WARN问题。7.使其它节点可以管理Ceph群集。1.创建一个Ceph工作目录。6.配置Ceph yum源。3.手动安装Ceph软件包。部署Ceph集群的方法。部署Ceph集群的方法。8.部署osd存储节点。Ceph生产环境推荐。三、部署Ceph集群。

2401_83784772的博客 4580

Ceph集群搭建系列(一):Ceph 集群搭建

目录 摘要: 目录 一、准备机器 二、ceph节点安装 三、搭建集群 后续:Ceph集群搭建系列(二):Ceph 集群扩容 参考: 摘要: 本文介绍的Ceph 集群搭建是基于luminous版本(ceph -v: ceph version 12.2.11 (26dc3775efc7bb286a1d6d66faee0ba30ea23eee) luminous (stable)),c...

Yannick Jiang 的专栏 7489

基于 ceph-deploy 部署 Ceph 集群 超详细

ceph概述和ceph集群部署

这是博客的简介的简介 5849

使用ceph-deploy部署Ceph集群

初次入门,使用ceph-deploy工具快速安装(相比于手工安装)一套三节点的Ceph集群,并最终创建对象存储服务进行系统验证。 预先了解两个基本概念: mon:osd监视器,osd的守护进程,通常一个osd对应一个mon osd:实际存储数据,通常直接对应一块硬盘 三台机器(Ubuntu 16.04):172.31.0.5,172.31.0.13,172.31.0.22,分别命名为ceph0...

半斤米粉闯天下的博客 8781

使用cephadm部署ceph集群

使用cephadm部署ceph集群

虫虫的博客 5306

最全!最完整!部署ceph集群(一)

准备四台虚拟机,其三台作为存储集群节点,一台安装为客户端,实现如下功能: 创建1台客户端虚拟机 创建3台存储集群虚拟机 配置主机名、IP地址、YUM源 修改所有主机的主机名 配置无密码SSH连接 配置NTP时间同步 创建虚拟机磁盘 方案 使用4台虚拟机,1台客户端、3台存储集群服务器,拓扑结构 所有主机的主机名及对应的IP地址 注意:所有主机基本系统光盘的YUM源必须提前配置好。 Ceph组件架构如图 Ceph会对数据进行切割处理 Ceph随机读写数据的思路 Ceph集群结构如图 步骤 步骤一:安装前准备

weixin_49994540的博客 6372

用ceph-deploy安装ceph并部署集群

部署安装关于安装ceph整个过程中遇到的问题,以及靠谱的解决办法,个人亲测有效,不代表广大同行的观点。 我用的是服务器,所以没搞什么用户的问题。机器是centOS7.3。我安装的ceph版本是jewel,目前只用了3个节点。 节点IP 命名 角色 10.0.1.92 e1092 mon 10.0.1.93 e1093 mon,osd 10.0.1.94

Erdong_up的博客 1万+

CentOS8离线安装部署ceph集群

CentOS8离线安装部署ceph集群

TT-Learning 3758

Ceph-deploy搭建ceph集群

Ceph可用于为云平台提供Ceph对象存储、块存储、文件系统存储。所有Ceph存储集群部署都从设置每个Ceph节点开始,然后设置网络块存储RedismasterslavezookeeperMysqlmasterslavecephFS对象存储Ceph存储集群需要以下内容:至少一个和至少一个,以及至少与Ceph集群中存储的给定对象的副本一样多的Ceph对象存储守护进程(OSD)(例如,如果给定对象的三个副本存储在Ceph集群中,则该Ceph集群中必须至少存在三个OSD)

qq_31055683的博客 1925

使用rook-ceph部署高可用ceph集群

Rook是一种开源的、云原生存储的编排器,可以为各种存储服务在云原生的环境中实现无缝先和,提供了所必须的平台、框架和服务;而Ceph是Rook所支持的众多存储的一种,在k8s环境中,Ceph基于Rook能够为应用提供块存储(Block Storage),对象存储(Object Storage)以及共享文件系统服务。

qq_31055683的博客 3597

Ceph集群部署

说明目标主机已经有ceph.conf配置文件,而且内容和当前目录的配置文件不一样,如果需要覆盖则使用--overwrite-conf选项。如上图,其中:ceph.conf是主配置文件, ceph.client.admin.keyring文件存放的是ceph的用户名和密码。如上图可以看到,会自动远程所有节点主机,先拷贝主配置文件至/etc/ceph目录,然后启动各节点ceph-mon服务。客户端只是通过MON服务器找到map,map记录的是OSD存储信息,当通过map找到OSD存储信息后,

桂安俊@KylinOS 3583

基于ceph-deploy部署Ceph 集群

基于ceph-deploy部署Ceph 集群

m0_71593537的博客 1912

Ceph存储—基于CentOS7安装部署ceph集群

存储机制会把数据分散存储到多个节点上,具有高扩展性、高性能、高可用性等优点。Ceph使用C++语言开发,是一个开放、自我修复和自我管理的开源分布式存储系统。具有高扩展性、高性能、高可靠性的优点。Ceph目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack,Kubernetes都可与Ceph整合以支持虚拟机镜像的后端存储。粗略估计,我国70%—80%的云平台都将Ceph作为底层的存储平台,由此可见Ceph俨然成为了开源云平台的标配。

weixin_60047971的博客 944

Openstack 与 Ceph集群搭建(中): Ceph部署

MON 节点:使用 ceph mon stat 和 ceph quorum_status 查看。OSD 节点:使用 ceph osd stat 和 ceph osd tree 查看。集群整体状态:使用 ceph -s 或 ceph status 查看。选项一:这种安装方式不一定是最新版本ceph,故提供另一种安装方式。Manager 节点:使用 ceph mgr stat 查看。MDS 节点:使用 ceph fs status 查看。这里的管理节点也是部署节点 node-03。

范枝洲的博客 2044

华为数通---配置风暴控制案例

风暴控制可以通过阻塞报文或关闭端口来阻断广播、未知组播和未知单播报文的流量。

2301_77081516的博客 1627
上一篇: CentOS 7 中firewall-cmd命令
下一篇: 分布式文件系统FastDFS设计原理
hxpjava1
博客等级 码龄19年 1365粉丝 511原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值