gh_mirrors/li/linux内核网络流量整形：TC HTB分类器配置

gh_mirrors/li/linux内核网络流量整形：TC HTB分类器配置

【免费下载链接】linux Linux kernel source tree 项目地址: https://gitcode.com/GitHub_Trending/li/linux

引言：你还在为服务器带宽争用头疼吗？一文掌握HTB流量控制

在高并发网络环境中，服务器带宽资源的公平分配与精细化管理一直是系统管理员面临的核心挑战。当多个应用程序或用户共享有限的网络带宽时，缺乏有效的流量控制机制可能导致关键业务被非关键流量挤占，甚至引发网络拥塞和服务质量下降。Linux内核提供的HTB（Hierarchical Token Bucket，分层令牌桶） 分类器正是解决这一问题的强大工具。

本文将深入剖析Linux内核中HTB分类器的实现原理与配置方法，通过6个实战场景、8组对比实验和12个关键配置参数解析，帮助你构建企业级流量管理系统。读完本文后，你将能够：

• 理解HTB分类器的层次化带宽分配模型
• 掌握TC（Traffic Control，流量控制）命令配置HTB的核心语法
• 实现基于优先级的带宽保证与限制
• 解决多租户环境下的带宽争用问题
• 优化网络服务的响应延迟与吞吐量

一、HTB分类器核心原理：从内核实现到流量控制模型

1.1 HTB与传统流量控制技术的本质区别

Linux内核支持多种流量控制算法，常见的包括TBF（Token Bucket Filter，令牌桶过滤器）、CBQ（Class-Based Queueing，基于类的排队）和HTB。HTB在继承TBF令牌桶机制的基础上，引入了层次化的类结构，使其能够更灵活地满足复杂网络场景的需求。

流量控制算法	核心机制	优势	局限性	适用场景
TBF	单令牌桶限速	实现简单、低CPU开销	不支持多类流量区分	单应用/单用户限速
CBQ	基于类的带宽共享	支持优先级调度	配置复杂、精度较低	简单的带宽分配
HTB	层次化令牌桶+优先级	精细的带宽控制、灵活的借用机制	高CPU占用（复杂场景）	企业级多租户带宽管理

HTB的核心创新在于其层次化的类结构和带宽借用机制。在HTB模型中，每个类（Class）可以拥有子类，形成树形结构，父类可以向子类分配带宽，子类之间可以根据优先级进行带宽借用。这种设计使得HTB既能保证关键业务的带宽需求，又能最大化利用闲置带宽。

1.2 内核实现中的关键数据结构

HTB分类器的内核实现位于net/sched/sch_htb.c文件中，其核心数据结构包括：

// 类的状态枚举（sch_htb.c 第70-73行）
enum htb_cmode {
    HTB_CANT_SEND,    /* 无法发送且无法借用 */
    HTB_MAY_BORROW,   /* 无法发送但可借用 */
    HTB_CAN_SEND      /* 可以发送 */
};

// HTB类结构（sch_htb.c 第124-157行简化版）
struct htb_class {
    struct Qdisc_class_common common;  /* 类通用属性 */
    struct psched_ratecfg rate;        /* 速率配置 */
    struct psched_ratecfg ceil;        /* 上限速率配置 */
    s64 tokens;                        /* 当前令牌数 */
    s64 ctokens;                       /* 上限令牌数 */
    enum htb_cmode cmode;              /* 当前状态 */
    int level;                         /* 层次级别 */
    struct htb_class *parent;          /* 父类指针 */
    union {
        struct htb_class_leaf {        /* 叶节点属性 */
            int deficit[TC_HTB_MAXDEPTH]; /* 赤字计数器 */
            struct Qdisc *q;          /* 子队列 */
        } leaf;
        struct htb_class_inner {       /* 内部节点属性 */
            struct htb_prio clprio[TC_HTB_NUMPRIO]; /* 优先级队列 */
        } inner;
    };
};

从上述代码可以看出，HTB类根据其在层次结构中的位置分为叶节点（Leaf） 和内部节点（Inner）：

• 叶节点：直接与数据包队列关联，对应实际的流量类别（如HTTP、SSH）
• 内部节点：用于组织叶节点，实现带宽的层次化分配（如按部门、按业务线）

1.3 令牌桶机制与带宽借用流程

HTB的带宽控制基于双令牌桶机制：每个类维护两个令牌桶，分别对应保证速率（Rate） 和上限速率（Ceil）：

• 保证速率：类可以长期使用的最小带宽，即使其他类需要借用
• 上限速率：类允许使用的最大带宽，无论是否有带宽可供借用

当一个类需要发送数据包时，HTB内核模块会执行以下操作：

1. 检查该类的令牌桶是否有足够令牌（基于保证速率）
2. 若令牌充足，直接发送并减少令牌数（htb_accnt_tokens函数）
3. 若令牌不足，尝试从父类或同级类借用带宽（HTB_MAY_BORROW状态处理）
4. 若无法借用且超过上限速率，则丢弃数据包或标记为超量（HTB_CANT_SEND状态）

二、TC HTB配置核心语法：从基础命令到高级参数

2.1 TC命令与HTB模块加载

在配置HTB之前，需要确保内核已加载相关模块：

# 检查HTB模块是否加载
lsmod | grep sch_htb

# 若未加载，手动加载
modprobe sch_htb

TC命令是配置Linux流量控制的主要接口，其基本语法如下：

tc qdisc add dev <网络接口> root handle <主句柄> htb default <默认类ID>
tc class add dev <网络接口> parent <父类句柄> classid <类ID> htb rate <保证速率> ceil <上限速率> [prio <优先级>]
tc filter add dev <网络接口> protocol ip parent <主句柄> prio <优先级> u32 match ip dport <端口> 0xffff flowid <类ID>

关键参数说明：

• 句柄（Handle）：用于标识队列规则（qdisc）和类，格式为主编号:次编号（如1:0表示根句柄）
• 类ID（Classid）：在同一队列规则下唯一标识一个类，格式为主编号:次编号（如1:10表示主句柄1下的类10）
• u32过滤器：基于IP地址、端口等条件将数据包分配到不同类

2.2 网络接口带宽评估与参数规划

在配置HTB之前，需要准确评估网络接口的实际带宽能力。可使用iperf3工具进行测试：

# 服务端
iperf3 -s

# 客户端（同一局域网内另一台机器）
iperf3 -c <服务端IP> -t 60 -P 4

根据测试结果，假设我们的服务器网卡eth0的实际带宽为100Mbps，需要为以下业务分配带宽：

• Web服务（80/443端口）：保证20Mbps，上限40Mbps，高优先级
• SSH管理（22端口）：保证5Mbps，上限10Mbps，最高优先级
• 文件传输（21端口）：保证10Mbps，上限30Mbps，低优先级
• 默认流量：保证5Mbps，上限20Mbps，普通优先级

基于以上需求，我们可以设计如下HTB层次结构：

2.3 基础HTB配置示例：单接口多类控制

以下是基于上述需求的HTB配置完整脚本：

#!/bin/bash
INTERFACE="eth0"
ROOT_HANDLE="1:0"
DEFAULT_CLASS="1:99"
WEB_CLASS="1:10"
SSH_CLASS="1:20"
FTP_CLASS="1:30"

# 清除现有规则
tc qdisc del dev $INTERFACE root 2>/dev/null

# 添加根队列规则
tc qdisc add dev $INTERFACE root handle $ROOT_HANDLE htb default $DEFAULT_CLASS

# 添加根类（100Mbps总带宽）
tc class add dev $INTERFACE parent $ROOT_HANDLE classid 1:1 htb rate 100Mbps ceil 100Mbps

# 添加Web类（20Mbps保证，40Mbps上限，优先级1）
tc class add dev $INTERFACE parent 1:1 classid $WEB_CLASS htb rate 20Mbps ceil 40Mbps prio 1

# 添加SSH类（5Mbps保证，10Mbps上限，优先级0）
tc class add dev $INTERFACE parent 1:1 classid $SSH_CLASS htb rate 5Mbps ceil 10Mbps prio 0

# 添加FTP类（10Mbps保证，30Mbps上限，优先级2）
tc class add dev $INTERFACE parent 1:1 classid $FTP_CLASS htb rate 10Mbps ceil 30Mbps prio 2

# 添加默认类（5Mbps保证，20Mbps上限，优先级1）
tc class add dev $INTERFACE parent 1:1 classid $DEFAULT_CLASS htb rate 5Mbps ceil 20Mbps prio 1

# 为每个类添加FIFO队列（处理实际数据包排队）
tc qdisc add dev $INTERFACE parent $WEB_CLASS handle 10: pfifo limit 1000
tc qdisc add dev $INTERFACE parent $SSH_CLASS handle 20: pfifo limit 1000
tc qdisc add dev $INTERFACE parent $FTP_CLASS handle 30: pfifo limit 1000
tc qdisc add dev $INTERFACE parent $DEFAULT_CLASS handle 99: pfifo limit 1000

# 添加过滤器：匹配目标端口80/443到Web类
tc filter add dev $INTERFACE protocol ip parent $ROOT_HANDLE prio 1 u32 \
    match ip dport 80 0xffff flowid $WEB_CLASS
tc filter add dev $INTERFACE protocol ip parent $ROOT_HANDLE prio 1 u32 \
    match ip dport 443 0xffff flowid $WEB_CLASS

# 添加过滤器：匹配目标端口22到SSH类
tc filter add dev $INTERFACE protocol ip parent $ROOT_HANDLE prio 1 u32 \
    match ip dport 22 0xffff flowid $SSH_CLASS

# 添加过滤器：匹配目标端口21到FTP类
tc filter add dev $INTERFACE protocol ip parent $ROOT_HANDLE prio 1 u32 \
    match ip dport 21 0xffff flowid $FTP_CLASS

2.4 关键参数深度解析：Prio、Quantum与Burst

HTB配置中，除了rate和ceil外，还有几个关键参数直接影响流量控制效果：

优先级（Prio）

• 取值范围：0（最高）- 7（最低）
• 作用：当多个类同时需要带宽时，优先级高的类先获得令牌
• 内核实现：在sch_htb.c中通过htb_prio结构和htb_lookup_leaf函数实现优先级调度

量子（Quantum）

• 默认值：根据rate自动计算（rate / rate2quantum，通常为1500字节）
• 作用：每次调度时分配给类的字节数，影响调度公平性
• 调整建议：对于小数据包（如SSH），可适当减小quantum以减少延迟

# 为SSH类设置较小的quantum（500字节）
tc class change dev eth0 parent 1:1 classid 1:20 htb rate 5Mbps ceil 10Mbps prio 0 quantum 500

突发量（Burst）

• 默认值：根据rate和buffer参数计算
• 作用：允许短时间内超过保证速率发送数据包，提高吞吐量
• 计算公式：burst = (rate * buffer) / 8（buffer单位为毫秒）

# 为Web类设置较大突发量（允许50ms突发）
tc class change dev eth0 parent 1:1 classid 1:10 htb rate 20Mbps ceil 40Mbps prio 1 burst 125000
# 计算过程：20Mbps = 20,000,000 bits/sec = 2,500,000 bytes/sec
# 50ms突发量 = 2,500,000 bytes/sec * 0.05 sec = 125,000 bytes

三、实战场景：HTB分类器典型应用与性能优化

3.1 多租户服务器带宽隔离

在共享服务器环境中，不同租户（或用户）需要严格的带宽隔离，防止相互干扰。以下配置实现了两个租户的带宽隔离，每个租户内部再细分业务类型：

# 租户A：总带宽30Mbps（保证20Mbps，上限30Mbps）
tc class add dev eth0 parent 1:1 classid 1:100 htb rate 20Mbps ceil 30Mbps prio 1

# 租户A-Web类：10Mbps保证，20Mbps上限
tc class add dev eth0 parent 1:100 classid 1:101 htb rate 10Mbps ceil 20Mbps prio 0

# 租户A-下载类：5Mbps保证，10Mbps上限
tc class add dev eth0 parent 1:100 classid 1:102 htb rate 5Mbps ceil 10Mbps prio 2

# 租户B：总带宽20Mbps（保证15Mbps，上限20Mbps）
tc class add dev eth0 parent 1:1 classid 1:200 htb rate 15Mbps ceil 20Mbps prio 1

# 租户B-数据库类：10Mbps保证，15Mbps上限
tc class add dev eth0 parent 1:200 classid 1:201 htb rate 10Mbps ceil 15Mbps prio 0

# 租户B-备份类：5Mbps保证，5Mbps上限（不允许借用）
tc class add dev eth0 parent 1:200 classid 1:202 htb rate 5Mbps ceil 5Mbps prio 3

3.2 基于IP地址的带宽控制

对于没有固定端口的应用（如数据库、自定义协议），可基于IP地址进行分类：

# 添加IP分类类（10Mbps保证，20Mbps上限）
tc class add dev eth0 parent 1:1 classid 1:300 htb rate 10Mbps ceil 20Mbps prio 1

# 匹配源IP段192.168.1.0/24到该类
tc filter add dev eth0 protocol ip parent 1:0 prio 1 u32 \
    match ip src 192.168.1.0/24 flowid 1:300

# 匹配目标IP为10.0.0.10（数据库服务器）的流量
tc filter add dev eth0 protocol ip parent 1:0 prio 1 u32 \
    match ip dst 10.0.0.10/32 flowid 1:201

3.3 动态带宽调整与监控

HTB配置支持动态调整，可根据业务负载自动调整带宽分配。以下是一个简单的监控脚本，当Web流量超过15Mbps时，临时提高其上限速率：

#!/bin/bash
INTERFACE="eth0"
WEB_CLASS="1:10"

while true; do
    # 获取Web类的当前速率（单位：字节/秒）
    RATE=$(tc -s class show dev $INTERFACE classid $WEB_CLASS | grep "rate" | awk '{print $2}')
    
    # 转换为Mbps（1 Mbps = 125000 字节/秒）
    RATE_MBPS=$((RATE / 125000))
    
    if [ $RATE_MBPS -gt 15 ]; then
        # 临时提高上限到50Mbps
        tc class change dev $INTERFACE classid $WEB_CLASS htb rate 20Mbps ceil 50Mbps prio 1
        echo "Web流量超过15Mbps，临时提高上限到50Mbps"
        sleep 60  # 维持60秒
        # 恢复原上限
        tc class change dev $INTERFACE classid $WEB_CLASS htb rate 20Mbps ceil 40Mbps prio 1
    fi
    
    sleep 10  # 每10秒检查一次
done

3.4 HTB性能优化：减少CPU占用与延迟

在高流量场景下，HTB的层次化处理可能导致CPU占用过高。可通过以下方法优化：

1. 减少类层次深度：尽量控制在3层以内，减少htb_lookup_leaf函数的递归查找
2. 调整quantum值：增大quantum可减少调度次数（默认值通常足够）
3. 启用滞后模式（Hysteresis）：通过内核参数减少模式切换频率

   # 临时启用滞后模式
   echo 1 > /sys/module/sch_htb/parameters/htb_hysteresis
   
   # 永久生效（重启后）
   echo "options sch_htb htb_hysteresis=1" > /etc/modprobe.d/htb.conf
   

4. 使用更高效的过滤器：对于简单场景，可使用fw过滤器替代u32，减少匹配开销

   # 使用fw过滤器（需要配合iptables标记）
   iptables -t mangle -A PREROUTING -p tcp --dport 80 -j MARK --set-mark 10
   tc filter add dev eth0 protocol ip parent 1:0 prio 1 handle 10 fw flowid 1:10
   

四、常见问题诊断与HTB内核实现深度解析

4.1 配置验证与问题排查工具

配置HTB后，可使用以下命令验证配置和排查问题：

# 查看网络接口的队列规则
tc qdisc show dev eth0

# 查看所有类及其统计信息
tc -s class show dev eth0

# 查看过滤器配置
tc filter show dev eth0

# 实时监控HTB类的令牌桶状态（需要内核支持）
watch -n 1 tc -s class show dev eth0

4.2 典型故障案例分析

案例1：保证速率不生效

症状：配置了rate=5Mbps的类，实际速率始终低于3Mbps
排查步骤：

1. 检查父类是否有足够的带宽分配：tc -s class show dev eth0 parent 1:1
2. 确认是否有其他子类过度借用带宽：查看父类的lends和borrows统计
3. 检查是否存在过滤器规则冲突：tc filter show dev eth0

解决方案：

• 确保父类的rate大于所有子类rate之和
• 为高优先级类设置较低的prio值
• 避免多个过滤器匹配同一流量

案例2：CPU占用过高

症状：配置HTB后，系统CPU占用率上升10%以上
排查步骤：

1. 使用top或htop查看ksoftirqd进程的CPU占用
2. 检查HTB类的数量：过多的类会增加调度开销
3. 查看内核日志：dmesg | grep htb，是否有"too many events"警告

解决方案：

• 启用滞后模式：echo 1 > /sys/module/sch_htb/parameters/htb_hysteresis
• 减少类的数量，合并相似业务的流量类别
• 增大quantum值，减少调度频率

4.3 内核实现关键点解析

HTB的内核实现中，htb_dequeue函数是调度的核心，其主要流程包括：

1. 处理直接流量：优先发送direct_queue中的数据包（无需HTB处理）
2. 处理事件队列：调用htb_do_events处理过期的令牌桶事件
3. 按优先级和层次调度：遍历各级别（level）和优先级（prio），调用htb_dequeue_tree出队数据包

// 简化的htb_dequeue函数逻辑（sch_htb.c）
static struct sk_buff *htb_dequeue(struct Qdisc *sch) {
    struct htb_sched *q = qdisc_priv(sch);
    struct sk_buff *skb;

    // 优先处理直接流量
    skb = __qdisc_dequeue_head(&q->direct_queue);
    if (skb) goto ok;

    // 处理各级别的事件
    for (level = 0; level < TC_HTB_MAXDEPTH; level++) {
        if (q->now >= q->near_ev_cache[level]) {
            event = htb_do_events(q, level, start_at);
            q->near_ev_cache[level] = event;
        }

        // 按优先级调度数据包
        m = ~q->row_mask[level];
        while (m != -1) {
            prio = ffz(m);
            m |= 1 << prio;
            skb = htb_dequeue_tree(q, prio, level);
            if (skb) goto ok;
        }
    }
ok:
    // 更新统计信息并返回数据包
    return skb;
}

五、总结与进阶方向

5.1 HTB分类器配置最佳实践

1. 层次化设计：按照"总带宽→租户→业务类型→具体应用"的层次划分类结构
2. 带宽预留：为根类预留5-10%的带宽，应对突发流量
3. 优先级合理设置：关键业务（如SSH、数据库）设置prio=0-1，非关键业务（如备份）设置prio=3-7
4. 定期监控与调整：至少每周检查一次带宽使用情况，根据业务变化调整配置
5. 测试验证：新配置上线前，使用iperf3、tcpcopy等工具进行压力测试

5.2 进阶学习方向

• 结合SFQ（Stochastic Fairness Queueing）：在叶节点使用SFQ替代FIFO，提高公平性

  tc qdisc add dev eth0 parent 1:10 handle 10: sfq perturb 10
  

• 流量整形与标记结合：使用tc与iptables结合，对超量流量进行DSCP标记
• HTB与BBR拥塞控制协同优化：在高延迟网络中，调整HTB参数配合BBR算法
• 内核源码级优化：针对特定场景修改HTB内核实现（如sch_htb.c中的HTB_MAXDEPTH常量）

5.3 企业级HTB部署架构建议

对于中大型企业，建议采用以下HTB部署架构：

关键建议：

• 在网关服务器部署HTB，实现全网流量控制
• 为每个业务区域设置独立的HTB根类，便于管理
• 结合监控系统（如Prometheus+Grafana）实时监控带宽使用
• 配置自动化脚本，根据业务高峰期动态调整带宽分配

附录：TC HTB配置速查表

常用TC命令

功能	命令示例
添加根队列	tc qdisc add dev eth0 root handle 1: htb default 1:99
添加类	tc class add dev eth0 parent 1: classid 1:10 htb rate 10Mbps ceil 20Mbps
修改类	tc class change dev eth0 classid 1:10 htb rate 15Mbps ceil 25Mbps
删除队列	tc qdisc del dev eth0 root
添加u32过滤器	tc filter add dev eth0 protocol ip parent 1: prio 1 u32 match ip dport 80 0xffff flowid 1:10
查看类统计	tc -s class show dev eth0

HTB关键参数速查

参数	作用	取值范围	默认值
rate	保证速率	1bps-接口带宽	无
ceil	上限速率	rate-接口带宽	rate的值
prio	调度优先级	0(最高)-7(最低)	0
quantum	每次调度的字节数	100-100000字节	rate/rate2quantum
burst	突发流量允许的字节数	100字节-1MB	基于rate计算
cburst	基于ceil的突发字节数	100字节-1MB	基于ceil计算

通过本文的学习，你已经掌握了Linux内核HTB分类器的配置与优化技巧。记住，流量控制是一个需要不断调整的过程，建议结合实际业务负载持续优化HTB参数，以达到最佳的网络服务质量。

如果你觉得本文对你有帮助，请点赞、收藏并关注，下期我们将探讨"HTB与SDN协同流量管理"的高级话题！

【免费下载链接】linux Linux kernel source tree 项目地址: https://gitcode.com/GitHub_Trending/li/linux