Katran项目实战指南：从基础配置到高级负载均衡

Katran项目实战指南：从基础配置到高级负载均衡

katran A high performance layer 4 load balancer 项目地址: https://gitcode.com/gh_mirrors/ka/katran

项目概述

Katran是一个基于eBPF技术构建的高性能负载均衡器，采用XDP（eXpress Data Path）技术实现数据包处理，能够在网络堆栈的最底层进行流量转发，从而提供极高的吞吐量和低延迟。

基础环境准备

启用BPF JIT编译器

为了获得最佳性能，首先需要启用BPF的即时编译功能：

sysctl net.core.bpf_jit_enable=1

获取关键网络信息

1. 默认网关MAC地址：

   ip route | grep default
   ip n show | grep <网关IP>
   

2. NIC接收队列与CPU映射：

   ethtool -l <接口名>
   cat /proc/interrupts | grep <接口名>
   

3. NUMA节点映射（多CPU服务器）：

   cat /sys/devices/system/cpu/cpu0/topology/physical_package_id
   

创建隧道接口

Katran使用IPIP封装进行流量转发和健康检查：

sudo ip link add name ipip0 type ipip external
sudo ip link add name ipip60 type ip6tnl external
sudo ip link set up dev ipip0
sudo ip link set up dev ipip60

禁用接收卸载

根据运行模式选择禁用相应的接收卸载功能：

# 驱动模式禁用LRO
/usr/sbin/ethtool --offload <接口名> lro off

# 通用模式禁用GRO
/usr/sbin/ethtool --offload <接口名> gro off

运行模式详解

独立模式

直接将Katran附加到网络接口，适用于单一负载均衡场景：

sudo ./katran_server_grpc \
  -balancer_prog ./balancer.bpf.o \
  -default_mac 52:54:00:12:35:02 \
  -forwarding_cores=0 \
  -healthchecker_prog ./healthchecking_ipip.o \
  -intf=enp0s3 \
  -ipip_intf=ipip0 \
  -ipip6_intf=ipip60 \
  -lru_size=10000

共享模式（推荐）

允许多个XDP程序协同工作，适合复杂网络环境：

1. 首先安装根XDP程序：

   ./install_xdproot.sh
   

2. 检查BPF文件系统挂载：

   mount | grep bpf
   ls -alh /sys/fs/bpf/jmp_eth0
   

3. 启动Katran并指定共享参数：

   sudo ./katran_server_grpc \
     -map_path /sys/fs/bpf/jmp_eth0 \
     -prog_pos=2 \
     # 其他参数与独立模式相同
   

健康检查配置

建立标记映射

将socket标记与后端服务器关联：

./katran_goclient -new_hc 10.200.200.1 -somark 1000
./katran_goclient -new_hc 10.200.200.2 -somark 1001
./katran_goclient -new_hc fc00:200::1 -somark 1002

查看当前配置

./katran_goclient -list_hc

测试健康检查

使用Python脚本模拟健康检查请求：

#!/usr/bin/env python
import socket
import sys
import time

SO_MARK = 36

def send_packet(fam, num, dst, fwmark):
    s = socket.socket(socket.AF_INET if fam == "4" else socket.AF_INET6, 
                     socket.SOCK_DGRAM)
    s.setsockopt(socket.SOL_SOCKET, SO_MARK, int(fwmark))
    for _ in range(int(num)):
        s.sendto(b"PING", (dst, 1337))
        time.sleep(1)

if __name__ == "__main__":
    send_packet(sys.argv[1], sys.argv[2], sys.argv[3], sys.argv[4])

转发平面配置

后端服务器准备

1. 创建IPIP隧道接口
2. 配置本地回环IP
3. 禁用rp_filter
4. 在lo接口上配置VIP

Katran配置步骤

1. 添加VIP服务：

   ./katran_goclient -A -t 10.200.200.1:22
   

2. 添加后端服务器：

   ./katran_goclient -a -t 10.200.200.1:22 -r 10.0.0.2
   

3. 查看当前配置：

   ./katran_goclient -l
   

性能优化建议

1. CPU亲和性：确保IRQ与CPU核心的1:1映射
2. NUMA感知：在多CPU服务器上使用NUMA提示
3. 连接表大小：根据预期流量调整LRU大小
4. 健康检查分离：考虑使用专用服务器进行健康检查

常见问题排查

1. 封装问题：确保两端IPIP隧道配置一致
2. 路由问题：检查默认网关MAC地址是否正确
3. 性能问题：验证CPU亲和性和NUMA配置
4. 健康检查失败：确认socket标记映射正确

通过本指南，您应该能够成功部署和配置Katran负载均衡器，并根据实际需求进行优化调整。Katran的eBPF架构使其在性能上具有显著优势，特别适合高流量环境下的负载均衡需求。

katran A high performance layer 4 load balancer 项目地址: https://gitcode.com/gh_mirrors/ka/katran