MC cluster故障反应机制

• Cluster的故障反应机制：（源自一培训文档）
  • 术语
    • *心跳（heart-beat）：节点间互相传递心跳信号的网络，如果中断则表明某一节点出现故障
    • *锁盘(lock disk)：如果群集中只有两个节点（绝大多数群集使用的场合）组成时，需要一块锁盘作为仲裁设备。当心跳中断时，两个节点会去争用锁盘，得到锁盘的一方会重组群集，而另一方则会发生TOC并重启。
    • *TOC（Transfer Of Control）快速控制权移交：为保证没有得到锁盘的节点能够尽快释放占用的资源，该节点将自动执行TOC，保存当前的内存和CPU影像后重新启动。
  • 故障反应机制－节点故障（整个节点异常crash或者...）
    • 当主节点发生故障：
      • 备节点守护进程cmcld检测到心跳超时，开始争用锁盘（如果主节点hang或者crash，此时一般都是备机拿到锁盘）
      • 主节点发生TOC，由备节点重组集群
      • 备节点上启动运行包，恢复应用访问
    • 当备节点发生故障
      • 主节点守护进程cmcld检测到心跳超时，开始争用锁盘（同理，此时一般是主节点拿到锁盘）
      • 备节点发生TOC，由主节点重组集群
      • 该过程对应用运行没有任何影响（没有节点应用切换）
  • 故障反应机制－网络故障
    • 主用网络发生故障（主用网卡连接的网络）
      • 守护进程cmcld检测到主用网卡不通后，会将固定IP和浮动IP加载到备用网卡上（standby网卡提供网卡冗余）
      • 主用网卡恢复后，IP地址会自动回到原主用网卡上
    • 主节点网络发生故障（主机点的主用和备用网卡都有问题）
      • 主用网卡不通，将固定IP和浮动IP加载到备用网卡上
      • 备用网卡也不通，会将运行包切换到备节点上
  • 故障反应机制－软件故障
    • 服务程序/监控脚本