Incus项目集群技术深度解析

Incus项目集群技术深度解析

incus Powerful system container and virtual machine manager 项目地址: https://gitcode.com/gh_mirrors/inc/incus

集群架构概述

Incus作为下一代容器管理工具，其集群功能允许用户将工作负载分布到多个服务器上。集群模式下，多个Incus服务器共享同一个分布式数据库，该数据库存储集群成员及其实例的配置信息。用户可以通过统一的命令行工具或REST API管理整个集群。

集群成员机制

基本组成要求

一个健康的Incus集群应当包含：

• 1个引导服务器（bootstrap server）
• 至少2个其他集群成员（推荐3个以上）

集群状态存储在基于Raft算法的Cowsql分布式数据库中。当只有两个成员时，数据库仅运行在引导服务器上，直到第三个成员加入后，数据库才会在其他服务器上建立副本。

成员角色体系

Incus集群中的成员角色分为自动分配和手动配置两类：

自动分配角色：

• database：数据库投票成员
• database-leader：当前数据库领导者
• database-standby：数据库备用成员

可配置角色：

• event-hub：内部事件交换中心
• ovn-chassis：OVN网络的上行网关候选

默认配置下，集群包含3个投票成员和2个备用成员。这种配置可以确保在单个投票成员离线时集群仍能保持运作。

容错处理机制

当集群成员离线超过配置的阈值（默认20秒）时：

• 该成员状态标记为离线
• 涉及该成员的操作将不可用
• 若离线成员是领导者，系统将自动选举新领导者

重要配置参数：

• cluster.offline_threshold：离线判定阈值（最小10秒）
• cluster.healing_threshold：自动实例迁移阈值

故障域配置

Incus允许通过failure_domain属性定义故障域。当某个数据库角色成员离线时，系统会优先选择同一故障域内的其他成员接替其角色，从而提高系统可靠性。

集群配置管理

成员配置要求

加入集群的服务器在存储池和网络配置方面必须与引导服务器保持一致。但考虑到实际硬件差异，以下配置允许成员自定义：

• 存储池的源设备和大小
• ZFS zpool、LVM thin pool或LVM卷组名称
• 桥接网络的外部接口和BGP下一跳
• 物理网络或macvlan网络的父设备名称

用户可以通过incus admin init命令交互式配置这些参数，也可以通过API预先查询所需配置项。

镜像管理策略

默认情况下，镜像会在所有数据库成员间复制（通常3份）。用户可以通过cluster.images_minimal_replica配置调整复制数量，特殊值-1表示在所有集群成员上复制镜像。

集群组功能

组概念与应用

集群组允许用户将成员按特性分组（如GPU服务器组），然后针对性地部署实例。所有成员默认属于default组。

典型应用场景：

• 硬件特性隔离（GPU、高性能存储等）
• 地理位置分组
• 业务单元隔离

实例调度机制

自动调度策略

当不指定目标成员时，Incus会根据以下规则自动分配实例：

1. 默认选择实例数量最少的成员
2. 数量相同时随机选择

可通过scheduler.instance配置调整调度行为：

• all：接受所有调度请求（默认）
• manual：仅接受明确指定该成员的请求
• group：仅接受指定该成员或其所属组的请求

高级调度脚本

Incus支持使用Starlark语言编写自定义调度脚本，提供比内置策略更灵活的调度控制。脚本需要实现instance_placement函数，并可以调用以下API：

def instance_placement(request, candidate_members):
    # 示例：根据实例名称特殊处理
    if request.name.startswith("gpu-"):
        gpu_members = [m for m in candidate_members 
                      if "gpu" in m.groups]
        if gpu_members:
            set_target(gpu_members[0].server_name)
            return
    
    # 默认选择资源最空闲的成员
    min_load = None
    best_member = None
    for member in candidate_members:
        res = get_cluster_member_resources(member.server_name)
        load = res.cpu.usage / res.cpu.total
        if min_load is None or load < min_load:
            min_load = load
            best_member = member
    
    if best_member:
        set_target(best_member.server_name)

可用功能函数包括：

• 资源查询：get_cluster_member_resources()
• 状态查询：get_cluster_member_state()
• 实例统计：get_instances_count()
• 目标设置：set_target()

脚本通过以下命令应用：

cat custom_scheduler.star | incus config set instances.placement.scriptlet=-

最佳实践建议

1. 生产环境部署：

   • 至少部署3个投票成员确保高可用
   • 跨机架/可用区部署时配置故障域
   • 定期检查集群健康状态

2. 资源规划：

   • 为数据库成员预留足够内存
   • 监控网络延迟，确保Raft协议通信正常
   • 考虑存储IO性能对集群操作的影响

3. 运维建议：

   • 变更前先进行模拟测试
   • 维护时逐个节点操作
   • 保留至少一个备用数据库成员

通过合理配置和运用这些集群特性，用户可以构建出高性能、高可用的Incus容器云平台。

incus Powerful system container and virtual machine manager 项目地址: https://gitcode.com/gh_mirrors/inc/incus