汝飞@大模型-优快云博客

原创 GPU 学习笔记四：GPU多卡通信（基于nccl和hccl）

NCCL文档索引1）NCCL介绍NCCL，全称“NVIDIA Collective Communication Linrary”，英伟达集合通信库，发音为“Nickel”。NCCL是专门用于加速GPU间通讯的高性能通信库，用来加速多机多卡间的并行计算速度，提升通信和数据传输性能。NCCL具有拓扑感知的能力，可以自动感知数据中心的扑结结构，通过优化通信模式来最大化的减少通信延迟和带宽损耗。NCCL提供了丰富的原语，可基于linux系统直接运行，可以轻松的集成到应用程序中。

2024-10-29 22:37:09 4590 1

原创 GPU 学习笔记三：GPU多机多卡组网和拓扑结构分析（基于数据中心分析）

上章记录了单机多卡的拓扑结构，同时在计算网络小节中也提到了Spine-Leaf网络拓扑结构，这章会详细介绍这种拓扑结构的由来。实际上，spine-leaf网络拓扑结构是一种Clos结构，我们称之为“脊叶网络”，由Charles Clos在1950年提出，初衷是为了解决网络电话爆炸式增长这一难题。

2024-10-29 08:28:09 2672

原创 GPU 学习笔记二：GPU单机多卡组网和拓扑结构分析（基于A100的单机多卡拓扑结构分析）

大规模 GPU 训练的性能与数据传输速度有直接关系。这里面涉及到很多链路，比如 PCIe 带宽、内存带宽、NVLink 带宽、HBM带宽、网络带宽等。网络习惯用 bits/second (b/s) 表示之外，并且一般说的都是单向（TX/RX）；其他模块带宽基本用 byte/sedond (B/s) 或 transactions/second (T/s) 表示，并且一般都是双向总带宽。比较带宽时注意区分和转换。换算单位：1Byte=8bit。

2024-10-28 00:52:45 3185 1

原创 GPU 学习笔记一：从A100与910B分析中，学习GPU参数的意义。

A100芯片，承袭英伟达技术精髓，不仅深度学习AI性能出众，更在图像处理及通用计算领域展现卓越性能，全面领先行业。910B芯片，专为神经网络芯片NPU设计，具备超大矩阵与高带宽内存系统，矩阵运算与流水并行处理能力卓越。在深度学习场景中，尤其在GEMM计算上，其性能表现尤为突出。由于行业技术封锁，国内芯片在制程工艺上尚有欠缺，910B采用7nm技术，落后于4nm技术，910B功耗400W，落后于A100的300W，这就使得国内芯片集成度和能效低于国外，还有较大提升空间。

2024-10-27 20:16:37 6234 2

原创 k8s企业级应用系列（二）：对象管理及Pod原理

Pod在其生命周期内只能被调度一次，一旦Pod被调度到某个节点上，将一直运行到被终止。Pod自身不具备自愈能力，如果Pod所在节点出现故障，Pod会被删除。即先创建一个父容器Infra，然后在创建子容器myapp时，指定需要加入的父容器Infra，如。此外，我们可以为应用容器设置回调函数，在容器启动和终止时操作。当init容器运行完成后，它的生命周期也就结束了，然后被k8s回收。通过命名空间，将资源分组，分组间相互隔离。，默认情况下，该字段为true，表示不删除。的根容器，Pod中其他的容器都会被加入到。

2024-04-08 20:40:32 2096 1

原创 k8s企业级应用系列（一）：架构原理

Kubernetes（简称k8s，K和s间8个字符），是一个可移植、可扩展的开源平台。k8s具有Google 大规模运行生产工作负载十几年的经验，拥有庞大且快速增长的生态。k8s是当前最流行的容器编排平台，它有非常丰富的原始的 API 来支持容器编排。编排就是对容器、系统资源、k8s对象等进行统一协调和管理。如：资源编排就是负责资源的分配，限制资源的使用等。

2024-04-08 20:39:45 2219

原创 Helm企业级应用（架构原理+k8s包管理+helm语法）

引言：大家都知道，在k8s中，每个对象都是一种资源，每种资源都有其特定的资源描述语法格式，存储在资源描述文件中，比如：deployment.yaml、service.yaml、pod.yaml等。k8s通过其原生命令对资源进行创建，通过修改资源描述的方式对这些资源进行维护。但是，这种方式比较低效且易出错，在软件安装和升级迭代时，无法对这些资源进行统一管理。若在安装升级和回滚时，有几十上百份资源描述文件，只能一个个的执行，无法满足上线要求。Helm是的包管理器，拥有自己的Chart模板和仓库。

2024-03-28 20:03:49 979 1

原创 Yaml语法（语法+数据结构+多语言对比案例）

YAML：“YAML Ain’t Markup Language”的缩写，常用于配置文件编写，语法简洁，后缀为.yaml或.yml。适用于范围非常广泛，如k8s容器编排、等主流语言数据持久化、等开源框架的配置文件。

2024-03-26 20:10:13 987

原创 Docker企业级应用（架构原理+工作流）

Docker是用Go编程语言的，遵从Apache2.0协议开源。Docker是Client/Server架构，用户在客户端输入指令，客户端将指令转换为DockerAPI调用，Docker守护进程侦听DockerAPI请求并管理Docker对象（如：镜像、容器、网络、卷、仓库等）。

2024-03-25 20:43:28 1080 2

原创正则表达式（分组、零宽断言）

step2：再根据pattern2位置，判断pettern1匹配结果，若pattern1匹配成功（正向：断言成功，负向：断言失败），反之亦然。一种特殊形式的正则表达式，匹配时不消耗原始字符，只判断pattern1是否匹配成功，如同：^ $ \b等边界匹配一样。step2：再判断pettern1匹配结果，若pattern1匹配成功（正向：断言成功，负向：断言失败），反之亦然。step3：若断言成功，返回step1匹配结果，反之，返回结果为：None。:pattern)。：只引用匹配结果，而不是引用匹配模式。

2024-03-21 20:55:20 2568 1

原创时区与夏令时详解

在不同地区，除了使用标准世界时表示的时区外（如：GMT+08、UTC-3:30），往往还会有不同的时区名称（如：Asia/Shanghai、America/Santiago），名称中通常会包含该国该地区的地理信息。夏令时（Daylight Saving Time），也叫“夏时制”，由外国资本家19世纪初提出，目的是鼓励人们早睡早起，敦促工人工作，提升工作效率，降低能源损耗。UTC比GMT更精准，以原子时计时，适应现代社会的精确计时。是时区标准，代表0时区的时区，所有时区都以和 GMT之间的时区差做为参考。

2024-03-19 18:54:04 2876 1

汝飞@大模型的博客