Ceph修改OSD和Monitor的网络

   随着Ceph的应用越来越深入，我们也遇到了越来越多的需求，本次我们将讲一下如何修改OSD和Monitor的网络。

   Ceph应用中，在部署完ceph集群并运行一段时间后，我们很可能会遇到机房网络变动，或集群网络升级的情况，这时我们都期望能在尽量减少对现有Ceph集群影响的情况下，修改Ceph的OSD和Monitor网络，而不是简单粗暴的重新部署Ceph集群。

   本文基于Ceph的官方文档和作者的实践，给出了正确修改Ceph OSD和Monitor网络的方法。

Ceph版本：Hammer 0.94.5

测试系统环境：Ubuntu 14.04

一、修改OSD的网络

   由于Ceph OSD的网络配置是启动时读取ceph.conf配置动态加载的，所以修改OSD的网络比较简单，步骤如下：

1. 修改下ceph.conf中pubulic/cluster network信息

     例如：public network = 172.16.1.0/24

          cluster network = 172.16.1.0/24

2. 把ceph.conf更新到所有OSD节点测配合

     ceph-deploy --overwrite-conf config push <node1> <node2> <node3>

3. 重启所有的osd daemon

     restart ceph-all

4. 检查OSD使用的网络

     # netstat -nap | grep ceph-osd

     tcp        0      0 172.16.1.16:844         0.0.0.0:*               LISTEN      23412/ceph-osd

     tcp        0      0 172.16.1.16:812         0.0.0.0:*               LISTEN      19423/ceph-osd

     tcp        0      0 172.16.1.16:845         0.0.0.0:*               LISTEN      23412/ceph-osd

     tcp        0      0 172.16.1.16:813         0.0.0.0:*               LISTEN      19529/ceph-osd

二、修改Monitor的网络

   因为Ceph的Monitor是集群中非常重要的模块，它们需要维护一组合理有效的Monitor节点信息，这些节点之间彼此能发现，它们通过选举达成一致的状态，来保证整个Ceph系统处于一个可用的一致状态。

   不同于别的Ceph Daemon通过ceph.conf文件中的配置来与Monitor通信，Monitors之间则通过独立的monitor map来彼此发现，在monitor map中有monitor的ip信息，所以单独通过修改ceph.conf文件的方法来修改Monitor的网络是行不通的。

   下面给出了两种办法来达到修改monitor网络的目的：

1. 通过依次添加新的monitor node(使用新的网络)，再删除旧的monitor node的方法

      [注：]新的monitor网络跟旧的monitor的网络必须是互通的，否则该方法失效。

     添加新的monitor节点步骤如下：

     1). 在新的monitor节点创建默认文件夹

         ssh {new-mon-host}

         sudo mkdir /var/lib/ceph/mon/ceph-{mon-id}

     2). 获取monitors的keyring文件，若内部集群没配置认证，该步会出错，忽略即可

         ceph auth get mon. -o {tmp}/{key-filename}

     3). 获取monitor map文件

         ceph mon getmap -o {tmp}/{map-filename}

     4). 在新的monitor节点生产monitor所需数据信息

         sudo ceph-mon -i {mon-id} --mkfs --monmap {tmp}/{map-filename} --keyring {tmp}/{key-filename}

     5). 添加新的monitor到monitor集群，绑定新的ip地址和port

         ceph-mon -i {mon-id} --public-addr {ip:port}

     删除旧的monitor节点步骤如下：

     1). 在旧的monitor节点停止该monitor

         service ceph -a stop mon.{mon-id}

     2). 把该monitor从集群中移除

         ceph mon remove {mon-id}

2. 修改monitor map里的信息，更新后重启所有monitors

     因为该方法一般是通过整体修改monitor map里的网络信息，然后重启monitors，所以会短暂影响Ceph集群的服务

     1). 获取现在的monitor map

          ceph mon getmap -o {tmp}/{filename}

     2). 查看当前的monitor map信息

         $ monmaptool --print {tmp}/{filename}

          monmaptool: monmap file {tmp}/{filename}

epoch 1

fsid 224e376d-c5fe-4504-96bb-ea6332a19e61

last_changed 2012-12-17 02:46:41.591248

created 2012-12-17 02:46:41.591248

0: 10.0.0.1:6789/0 mon.a

1: 10.0.0.2:6789/0 mon.b

2: 10.0.0.3:6789/0 mon.c

     3). 删除现有的monitors信息

         $ monmaptool --rm a --rm b --rm c {tmp}/{filename}

monmaptool: monmap file {tmp}/{filename}

monmaptool: removing a

monmaptool: removing b

monmaptool: removing c

monmaptool: writing epoch 1 to {tmp}/{filename} (0 monitors)

     4). 添加新的monitors信息

$ monmaptool --add a 10.1.0.1:6789 --add b 10.1.0.2:6789 --add c 10.1.0.3:6789 {tmp}/{filename}

monmaptool: monmap file {tmp}/{filename}

monmaptool: writing epoch 1 to {tmp}/{filename} (3 monitors)

     5). 检查新的monitors信息

$ monmaptool --print {tmp}/{filename}

monmaptool: monmap file {tmp}/{filename}

epoch 1

fsid 224e376d-c5fe-4504-96bb-ea6332a19e61

last_changed 2012-12-17 02:46:41.591248

created 2012-12-17 02:46:41.591248

0: 10.1.0.1:6789/0 mon.a

1: 10.1.0.2:6789/0 mon.b

2: 10.1.0.3:6789/0 mon.c

     6). copy修改后的{tmp}/{filename}文件到所有monitor节点

     7). 停止所有的monitor

         stop ceph-mon-all

     8). 注入新的monitor map信息

ceph-mon -i {mon-id} --inject-monmap {tmp}/{filename}

     9). 启动所有的monitro

         start ceph-mon-all

参考文档

http://ceph-users.ceph.narkive.com/HLadfkSd/moving-ceph-cluster-to-different-network-segment

http://docs.ceph.com/docs/master/rados/operations/add-or-rm-mons/#changing-a-monitor-s-ip-address

http://docs.ceph.com/docs/master/rados/operations/add-or-rm-mons/