架构设计：系统存储（27）——分布式文件系统Ceph（安装）

作者简介：大家好，我是smart哥，前中兴通讯、美团架构师，现某互联网公司CTO

联系qq：184480602，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬

学习必须往深处挖，挖的越深，基础越扎实！ 

1. 概述

从本篇文章开始介绍一款现在非常火的分布式文件系统Ceph，包括这款文件系统的安装、基本使用场景、常用管理命令和重要工作原理。特别是讨论了PaxOS算法的基本理后，就更容易理解Ceph分布式文件系统中各种角色的工作原理。

2. Ceph的安装部署

本文将介绍Ceph分布式文件系统如何在CentOS 7.X版本上一步一步完成安装，使读者在阅读过程中了解Ceph有哪些重要的子系统/工作模块，以及它们是如何关联工作的。请注意Ceph在Ubuntu等Linux操作系统上的安装过程和注意点大致相同，但如果读者和笔者同样选择在CentOS上安装Ceph，那么就请使用CentOS 7.X的版本，因为这个版本是Ceph官方介绍中推荐的，更重要的是CentOS 6.X已经不受支持了。

2-1. 准备工作

本文的演示中我们将按照以下表格安装一个三节点的Ceph分布式文件系统，并绑定一个文件系统的客户端进行文件读写操作。

节点	IP地址	角色说明
vmnode1	172.16.71.182	MDN、MDS、OSD
vmnode2	172.16.71.183	MDN、MDS、OSD
vmnode3	172.16.71.184	MDN、MDS、OSD
client	172.16.71.1	Client

以上表格中的角色缩写如果目前看不懂也无所谓，在后续的安装介绍中我们将说明这些功能角色的作用。Ceph的安装准备工作相对而言有一些繁琐，如果每一个节点都是全新的操作系统，那么这些节点至少需要经过创建用户、设置用户无密码登录权限、变更Ceph下载仓库、更新软件仓库等工作才能完成准备动作。其过程中往往会出现一些错误，需要在安装过程中耐心解决，下面我们就开始Ceph安装前的准备工作。

2-1-1. 关于用户

无论是测试环境还是正式环境，安装Ceph都不建议使用root账号。所以第一步我们需要专门创建一个用户和用户组，并为这个用户给定管理员权限。我们创建一个用户组ceph和一个专门用来运行Ceph各个模块的用户，用户名也叫做ceph

    [......]# groupadd ceph
    [......]# useradd ceph -g ceph
    [......]# passwd ceph
    
    // 修改成你想要的密码
    ......

记得为用户设置root权限，既是在sudoers文件中加入相关配置信息：

    [......]# vim /etc/sudoers
    
    // 加入ceph的sudo权限
    ......
    root    ALL=(ALL)       ALL
    ceph    ALL=(ALL)       NOPASSWD:ALL
    ......

参与Ceph构建的每个节点都要设置相同的用户信息，并且设置该用户在各个节点间的无密码登录功能——这是因为后面Ceph-deploy的工作过程中，将登录到各个节点上执行命令。

    [ceph@vmnode1 ~]$ ssh-keygen
    // 操作系统会出现一些提示，回车就行了
    [ceph@vmnode1 ~]$ cd ～/.ssh/
    [ceph@vmnode1 .ssh]$ cat ./id_rsa.pub >> ./authorized_keys
    // 一定要更改authorized_keys的访问权限，不然无密码登录要失败
    [ceph@vmnode1 ~]$ chmod 600 ./authorized_keys
    // 将authorized_keys copy到你将要登录的操作系统上，注意用户的home目录要做对应

关于无密码登录的设置过程就不再深入讲解了，因为是很基本的ssh设置。 主要原则就是保证authorized_keys文件的公钥记录信息和这个文件在几个节点间的一致性 。如果后续有新的节点加入到Ceph集群中，并且也要承担MDS Follower角色的工作，则同样要设置这个新节点到各个节点的相互无密码登录功能。

2-1-2. 关于Cep