路由器bgp协议对接生产K8S集群网络(Calico)

K8s为什么需要calico? calico 原理深入理解. 当arp请求目标网段的时候,网关收到ARP请求之后会用自己的MAC地址返回给请求者。k8中arp代理功能在calixxx 所在宿主机上开启.一般的三层数据报文:这里destmac不适用目标pod ip对应的mac而是使用网关的maclinux下这个参数控制器开启Calico 通过一个巧妙的方法将 workload 的所有流量引导到一个特殊的网关 169.254.1.1,从而引流到主机的 calixxx 网络设备上,最终将二三层流量全部转换成三层流量来转发。 阅读详情

路由器对接K8S集群网络(Calico)

在这里插入图片描述

一、Calico 客户端管理工具(calicoctl)安装和配置

1 calicoctl 工具下载安装

calicoctl 工具可以通过命令行读取、创建、更新和删除 Calico 的存储对象。
Calico 对象可以存储在 Etcd 服务或者 Kubernetes 服务中;在安装 Calico 的时候,需要选择其数据存储的位置。
在使用 calicoctl 管理工具时,你也可以选择工具部署的位置。

  1. 直接部署在物理主机上。
  2. 部署在容器化服务中。
  3. 部署在Kubernetes 容器编排工具的Pod中。

1.1 直接部署在物理主机

curl -O -L  https://github.com/projectcalico/calicoctl/releases/download/v3.21.5/calicoctl-linux-amd64
mv calicoctl-linux-amd64 /usr/bin/calicoctl
chmod +x /usr/bin/calicoctl

1.2 部署在Kubernetes 上

官方提供了 calicoctl 的容器和 Kubernetes yaml 文件,我们可以直接使用:

#数据存储在 etcd 服务中,对应2.1
kubectl apply -f https://docs.projectcalico.org/manifests/calicoctl-etcd.yaml
#数据存储在 Kubernetes API datastore 服务中,对应2.2
kubectl apply -f https://docs.projectcalico.org/manifests/calicoctl.yaml

2 calicoctl 配置文件

calicoctl 在使用过程中,需要从配置文件中读取 Calico 对象存储地址等信息。

  1. calicoctl 的配置文件默认存储位置 /etc/calico/calicoctl.cfg。
  2. 可以通过 –config 选项,覆盖配置文件的读取位置。
  3. 配置文件的内容可以是 Json 类型也可以是 Yaml 类型。
  4. 如果 calicoctl 找不到配置文件的话,会读取环境变量。

以下2选1

2.1 calicoctl 连接etcd 服务

calicoctl 客户端连接 Etcd 服务进行管理, 配置文件示例:

apiVersion: projectcalico.org/v3
kind: CalicoAPIConfig
metadata:
spec:
  etcdEndpoints: https://etcd1:2379,https://etcd2:2379,https://etcd3:2379
  etcdKeyFile: /etc/kubernetes/pki/etcd/server.key
  etcdCertFile: /etc/kubernetes/pki/etcd/server.crt
  etcdCACertFile: /etc/kubernetes/pki/etcd/ca.crt
2.2 calicoctl 连接 Kubernetes 服务

calicoctl 客户端连接 Kubernetes 服务进行管理,配置文件示例:

apiVersion: projectcalico.org/v3
kind: CalicoAPIConfig
metadata:
spec:
  datastoreType: "kubernetes"
  kubeconfig: "/path/to/.kube/config"

3 配置文件验证

这里有一个简单的命令用于验证 calicoctl 的安装和配置是否正确。

calicoctl node status
calicoctl get nodes

如果一切正常,则会返回已经注册的主机节点列表。
如果返回为空,则可能配置了错误的数据存储地址datastore或者 Calico 服务还没有主机注册。
如果返回错误信息,则请修复后重试。

二、路由器quagga安装和配置

安装quagga

yum install quagga telnet -y

拷贝配置文件:

cp /usr/share/doc/quagga-0.99.22.4/zebra.conf.sample /etc/quagga/zebra.conf
cp /usr/share/doc/quagga-*/bgpd.conf.sample /etc/quagga/bgpd.conf

编辑bgpd.conf文件:

router bgp 65186 
 bgp router-id 192.168.3.53
 network 192.168.10.0
 neighbor 192.168.3.81 remote-as 65186
 neighbor 192.168.3.81 route-reflector-client
 neighbor 192.168.3.82 remote-as 65186
 neighbor 192.168.3.82 route-reflector-client
 neighbor 192.168.3.83 remote-as 65186
 neighbor 192.168.3.83 route-reflector-client

启动服务:

systemctl enable zebra --now
systemctl enable bgpd --now

进入路由器console:

cd /etc/quagga
vtysh
提示一下:
Hello, this is Quagga (version 0.99.22.4).
Copyright 1996-2005 Kunihiro Ishiguro, et al.

进入配置模式,配置端口地址并保存

docker01# conf t
docker01(config)#hostname bgp-RR
bgp-RR(config)#int eth0
bgp-RR(config-if)# ip add 192.168.3.53/24
bgp-RR(config-if)# no shutdown
bgp-RR(config-if)#end
bgp-RR#wr

三、修改K8s calico配置

1 K8S集群操作

创建2个yaml文件:

# cat calico1.yaml 
apiVersion: projectcalico.org/v3
kind: BGPConfiguration
metadata:
  name: default
spec:
  logSeverityScreen: Info
  nodeToNodeMeshEnabled: false
  asNumber: 65186
cat calico2.yaml 
apiVersion: projectcalico.org/v3
kind: BGPPeer
metadata:
  name: bgppeer-global-211
spec:
  peerIP: 192.168.3.53
  asNumber: 65186

备注:k8s 19.0以上版本apiVersion需要更改为:crd.projectcalico.org/v1
应用:

calicoctl create -f calico1.yaml 
calicoctl create -f calico2.yaml

2 验证状态

路由器查看配置:

bgp-RR# show ip bgp summary  
BGP router identifier 192.168.3.53, local AS number 65186
RIB entries 7, using 784 bytes of memory
Peers 3, using 13 KiB of memory

Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
192.168.3.81    4 65186       6      11        0    0    0 00:03:41        1
192.168.3.82    4 65186       6      11        0    0    0 00:03:43        1
192.168.3.83    4 65186       6      11        0    0    0 00:03:41        1

Total number of neighbors 3
bgp-RR# show ip route
Codes: K - kernel route, C - connected, S - static, R - RIP,
       O - OSPF, I - IS-IS, B - BGP, A - Babel,
       > - selected route, * - FIB route

K>* 0.0.0.0/0 via 192.168.3.1, eth0
B>* 10.255.30.0/26 [200/0] via 192.168.3.82, eth0, 00:03:47
B>* 10.255.91.128/26 [200/0] via 192.168.3.83, eth0, 00:03:45
B>* 10.255.126.192/26 [200/0] via 192.168.3.81, eth0, 00:03:45
C>* 127.0.0.0/8 is directly connected, lo
C>* 172.17.0.0/16 is directly connected, docker0
C>* 192.168.3.0/24 is directly connected, eth0

k8s master节点查看路由:

[root@k8s21-master01 ~]# ip route
default via 192.168.3.1 dev eth0 proto static metric 100 
10.255.30.0/26 via 192.168.3.82 dev tunl0 proto bird onlink 
10.255.91.128/26 via 192.168.3.83 dev tunl0 proto bird onlink 
blackhole 10.255.126.192/26 proto bird 
10.255.126.253 dev calic5f7b738d4b scope link 
10.255.126.254 dev cali25736fd0fdb scope link 
10.255.126.255 dev cali5344222d830 scope link 
172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 
192.168.3.0/24 dev eth0 proto kernel scope link src 192.168.3.81 metric 100 
192.168.10.0/24 via 192.168.3.53 dev eth0 proto bird 


[root@k8s21-master01 ~]# calicoctl node status
Calico process is running.

IPv4 BGP status
+--------------+-----------+-------+----------+-------------+
| PEER ADDRESS | PEER TYPE | STATE |  SINCE   |    INFO     |
+--------------+-----------+-------+----------+-------------+
| 192.168.3.53 | global    | up    | 04:07:59 | Established |
+--------------+-----------+-------+----------+-------------+

IPv6 BGP status
No IPv6 peers found.


[root@k8s21-master01 ~]# calicoctl get bgpconfig default
NAME      LOGSEVERITY   MESHENABLED   ASNUMBER   
default   Info          false         65186
干货收藏!Calico的BGP RouteReflector策略实践 容器网络组件Calico支持多种后端模式,有Overlay的IPIP、Vxlan模式,也有Underlay纯路由的BGP模式。相比于Overlay网络模型,Underlay网络具有更高的数据面转发性能。同时在纯路由模式下,也有两种方案:Calico BGP的fullmesh方案,该方案存在一些限制,适用于小规模kubernetes集群,集群节点越多,BGP连接就越多,需要建立大量连接来保证网络的互通性,每增加一个节点就要成倍的增加连接保证网络的互通性,这样的话就会使用大量的网络消耗。 阅读详情

相关推荐

K8S网络组件Calico深度解析

Calico 是一套开源的网络和网络安全方案,用于容器、虚拟机、宿主机之前的网络连接,可以用在kubernetes、OpenShift(红帽的容器编排工具)、DockerEE、OpenStack等PaaS或IaaS平台上。BGP(border gateway protocol)是外部路由协议(边界网关路由协议),用来在AS之间传递路由信息是一种增强的距离矢量路由协议(应用场景),基本功能是在自治系统间自动交换无环路。

2503_91960880的博客 1411

K8S+Calico网络组件详解

源主机的 flanneld 服务将原本的数据内容 UDP 封装后根据自己的路由表投递给目的节点的 flanneld 服务,数据到达以后被解包,然后直接进入目的节点的 flannel0 虚拟网卡,之后被转发到目的主机的 docker0 虚拟网卡,最后就像本机容器通信一下的有 docker0 路由到达目标容器。它的作用相当于一个基于 IP 层的网桥。一般来说,普通的网桥是基于 mac 层的,根本不需 IP,而这个 ipip 则是通过两端的路由做一个 tunnel,把两个本来不通的网络通过点对点连接起来。

2302_82091138的博客 2650

Flannel与Calico网络插件:K8S容器集群中的明智选择

主要介绍了Flannel(轻量级、快速部署)与Calico(高性能、复杂网络策略)两种K8S网络插件的特点、实践及选择建议。

超哥的博客 1195

RockyLinux9.2安装k8s 1.27+calico+BGP+OpenELB

BIRD(Bird Internet Routing Daemon)是一种开源的路由软件,可用于实现多种路由协议,例如 BGP、OSPF、RIPv2 等。它是一个运行在 Linux 和 Unix 操作系统上的守护进程,用于控制网络路由器之间的数据流动。官方文档: https://bird.network.cz/为了降低学习成本,本文不使用物理路由器来配置BGP,使用BIRD来模拟路由器;

qq_30051761的博客 4010

Python实战:5分钟搞定VCF文件中每个样本的SNP统计(附bcftools安装指南)

本文介绍了三种高效统计VCF文件中每个样本SNP数量的Python方法,包括原生解析、结合bcftools的推荐方案以及使用PyVCF3专业库。特别推荐bcftools结合Python的方法,适用于中大型VCF文件,显著提升处理效率。文章还提供了bcftools安装指南和进阶统计技巧,帮助生物信息学分析人员快速完成SNP统计任务。

weixin_30555125的博客 494

Qt6.5.1+WebRTC学习笔记(十二)环境搭建流媒体服务器(ubuntu22.04+SRS)

若只是实现一对一通信,仅使用webrtc就足够了。但有时间需要进行多个人的直播会议,当人比较多时,建议使用一个流媒体服务器,笔者使用的是SRS。这个开源项目资料比较全,笔者仅在此记录下搭建过程。

aggs1990的专栏 3365

使用LaTex写IEEE trans 论文的参考文献(bib)

(1)在.TeX文件的最下方添加这几行内容,主要为生成tran形式的参考文献,第二行为参考文献名称,我命名为reference.bib,所以写的是reference,要根据自己的命名改写。(5)如果要在文中引用的话,就在.tex文件中添加\cite{},中括号里面内容为方框圈出来部分,但引用之后,在参考文献后面会出现[1]这样的标识,不知道为什么。(4)完成(3)以后,点击工具-命令-LaTeX,编译,然后按照此步骤LaTeX-bibtex-LaTeX-LaTeX,就可以完成参考文献的导入。

qq_45884215的博客 6260

[QMT量化交易小白入门]-三十七、QMT中如何使用类似于通达信中的VBA函数(量化python代码解析)

这段代码主要围绕着在QMT环境中实现类似通达信VBA函数的功能展开,核心功能是基于RSI指标来判断股票的买卖时机,并根据持仓情况进行相应的交易操作。class G():passg = G()这里定义了一个空类G,并创建了该类的实例g。这个实例g将作为全局变量来存储一些在整个程序运行过程中需要共享的数据,例如除复权类型、股票代码、目标数量等。1、使用VBA开发策略时,参数固化的问题会带来一些限制,比如无法修改MA函数的周期参数,只能使用固定周期。

木头大左的博客 1702

大模型新闻摘要生成质量评估工具

大模型新闻摘要生成质量评估工具 关键词:大模型、新闻摘要、质量评估、自然语言处理、算法 摘要:本文将探讨大模型新闻摘要生成质量评估工具的设计与应用。首先介绍大模型新闻摘要生成的背景和问题,然后深入分析质量评估的难点和重要性,接着介绍大模型的

AI天才研究院 828

手把手教你学Simulink——基于Simulink的多用户MIMO系统仿真建模示例

多用户MIMO概述在多用户MIMO系统中,基站配备多个天线,可以同时与多个用户进行通信。利用空间复用技术,不同用户的信号被分配到不同的空间流上,从而实现频谱资源的高效利用。多用户MIMO的核心挑战包括信道估计、波束成形设计以及干扰管理。关键技术点波束成形:通过调整发射信号的相位和幅度,在特定方向上增强信号强度并减少干扰。信道估计:获取每个用户的信道状态信息(CSI),用于优化波束成形矩阵。调制与解调:选择合适的调制方式(如QPSK、16-QAM等)以适应不同用户的信道条件。干扰消除。

MHD0815的博客 272

Attention优化|2w字原理&图解: 从Online-Softmax到FlashAttention V1/V2/V3

本文通过原理分析和图解的方式,通俗易懂地FlashAttention系列算法。FlashAttention V1/V2在LLM领域的应用已经非常广泛,相关的论文也反复读了几遍。FA1和FA2论文非常经典,都推荐读一下(不过FA2论文中公式错误不少本文大约1.8w字,包括以下内容:0x07 分布式训推使用FlashAttention0x09 FlashAttention中MQA/GQA以及Causal Mask处理。

具身机器人和通用AI 5233

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

上一篇: juicefs对接K8S和ceph集群对象存储作为SC后端存储
下一篇: 计算机网络------静态路由与配置
cloud_engineer
博客等级 码龄5年 9390粉丝 65原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值