大致步骤：
准备两台服务器分别作为主备节点
主备节点进行系统升级
主备节点配置SSH密钥登陆
主备节点关闭Iptables和selinux
主备节点准备空白的LV分区
主备节点安装编译环境
主备节点创建rpmbuild目录
 
主备节点下载、安装drbd-8.4.1
主节点配置drbd-8.4.1，完成后复制配置文件到备用节点
主备节点载入drbd模块，创建drbd分区元数据，并启用资源
主节点设置primary角色
主节点上为drbd分区创建文件系统，并挂载
测试主备节点的数据同步

 
一、主备节点进行系统升级，并重启：
  1. yum update 
  2. reboot 


!!important，否则make km-rpm通不过，主要是因为uname -r得出的内核版本，与/usr/src/kernels/目录下的内核版本不一致。是否需要进行该操作步骤，看实际情况!!


 


二、主备节点配置SSH密钥登陆：

略 


三、主备节点关闭iptables和selinux，否则drbd无法获取对方节点的数据：


  1. service iptables stop 
  2. chkconfig iptables off 
  3.  
  4. setenforce 0 
  5. sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/sysconfig/selinux 


四、主备节点准备空白的LV分区，注意不要创建文件系统：

略 


五、主备节点安装编译环境：


  1. yum -y install gcc make automake autoconf flex rpm-build kernel-devel 


六、主备节点创rpmbuild目录，为后面编译rpm包做准备：


  1. mkdir -p rpmbuild/SOURCES 


七、主备节点下载drbd源码包，并编译成rpm：


  1. wget http://oss.linbit.com/drbd/8.4/drbd-8.4.1.tar.gz 
  2. tar -zxvf drbd-* 
  3. cd drbd-* 
  4. ./configure 
  5. make rpm 
  6. make km-rpm 


八、主备节点安装编译后的rpm包，根据需求安装所需的rpm包，最好全部安装；这里只是最小化安装：


  1. cd /root/rpmbuild/RPMS/x86_64 
  2. rpm -ivh drbd-utils* drbd-km-2.6* 


九、在主节点上配置drbd，完成后把配置文件复制到备用节点：

cd /etc/drbd.d

vi global_common.conf


  1. global { 
  2. usage-count yes; 
  3. } 
  4.  
  5. common { 
  6. handlers { 
  7. pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f"; 
  8. pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f"; 
  9. local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f"; 
  10. } 
  11.  
  12. startup { 
  13. wfc-timeout 30; 
  14. degr-wfc-timeout 30; 
  15. outdated-wfc-timeout 30; 
  16. } 
  17.  
  18. options { 
  19. # cpu-mask on-no-data-accessible 
  20. } 
  21.  
  22. disk { 
  23. on-io-error detach; 
  24. fencing resource-and-stonith; 
  25. resync-rate 15M; 
  26. } 
  27.  
  28. net { 
  29. protocol C; 
  30. cram-hmac-alg sha1; 
  31. shared-secret "111111"; 
  32. } 
  33. } 


vi redis.res


  1. resource redis { 
  2. device /dev/drbd0; 
  3. disk /dev/VolGroup00/LogVol01; 
  4. meta-disk internal; 
  5. on SER-206 { 
  6. address 10.10.14.174:9876; 
  7. } 
  8. on SER-104 { 
  9. address 10.10.14.5:9876; 
  10. } 
  11. } 


复制配置文件到备用节点：


  1. scp /etc/drbd.d/* SER-104:/etc/drbd.d 


要注意：1) drbd每个配置项结尾有一个分号，注意不要犯语法上的错误

2) 配置drbd-8.4时不要生搬硬套8.3的配置项，因为8.4的配置文件发生了很多的变化，如取消了syncer配置段，把这部分选项分配给了disk和net；disk增加了一些新的选项，如disk-timeout等。


 


十、主备节点载入drbd模块，创建drdb分区元数据，并启用资源：


  1. modprobe drbd 
  2. lsmod |grep drbd 
  3. 如果结果无报错，有drbd的字样，说明安装成功。 
  4.  
  5. drbdadm create-md redis //创建元数据 
  6. drbdadm up redis //启用资源 


十一、主备节点查看drbd状态：

cat /proc/drbd

正常情况下的状态应该是这样：cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----；如果你的drbd状态一直显示cs:WFConnection ro:Secondary/Unknown ds:Inconsistent/DUnknown，而/var/log/messages又无报错，请查看iptables和selinux是否关闭。 


 


十二、设置主节点的角色为primary：


  1. drbdadm primary --force redis  


设置成功后，应该会看到两个节点正在同步数据。


 


十三、在主节点上为drbd分区创建文件系统，并挂载drbd分区： 


  1. yum -y install xfsprogs xfsdump 
  2. mkfs.xfs /dev/drbd0 
  3.  
  4. mkdir /data 
  5. mount /dev/drbd0 /data 


注意：1) 是为drbd分区创建文件系统，就是在redis.res中定义的/dev/drbd0,不是底层分区

2) 为drbd分区创建文件系统的工作，只在主节点上进行操作，备用节点上不用创建。


 


十四、测试主备节点之间的数据同步（注意步骤！)：

1) 在主节点上： 


  1. 创建测试文件：echo -e "$(date +$F%T): hell0" >/data/test.txt 
  2. 卸载drbd设备：umount /data 
  3. 主节点角色降级：drbdadm secondary redis 


2) 然后，在备用节点上： 


  1. 把备用节点设置为primary角色：drbdadm primary redis 
  2. 挂载drbd设备：mount /dev/drbd0 /data 


查看备用节点的/data目录，可以看到在主节点上的创建的文件，说明切换成功！再次查看drbd状态，两个节点的角色应该已经转换过来了。


 


十五、有朋友问，drbd的日志记录在什么地方？DRBD的日志默认记录在/var/log/messages中，如果遇到了问题，可以去查看一下。