- 博客(353)
- 资源 (56)
- 收藏
- 关注
RSS订阅转载 NVIDIA GH200 芯片、服务器及集群组网（2024）
摘要：NVIDIA新一代GH200超级芯片将CPU（Grace ARM）、GPU（H200）及内存高度集成，打破传统x86+GPU服务器架构。该芯片通过900GB/s的NVLink-C2C互连，实现624GB统一内存空间和超分显存功能。LPDDR5X内存带宽较DDR5提升53%且功耗降低87.5%，支持144GB HBM3e显存（4.9TB/s）。产品形态包括单卡PCIe节点和32卡全互联NVL32机柜，后者可构建19.5TB内存的AI算力单元。GH200标志着数据中心从CPU中心转向以GPU为核心的异构计
2025-10-24 10:35:52
407
转载 GPU 进阶 华为昇腾 910B GPU 相关
华为昇腾GPU与NVIDIA产品对照解析 本文系统介绍了华为昇腾GPU产品与NVIDIA的对应关系及技术特点。核心内容包括： 术语对照：华为NPU/GPU对应NVIDIA GPU，HCCS类似NVLink，CANN对应CUDA 产品线：训练卡昇腾910B对标A100/A800，推理卡Atlas300对标T4 硬件配置：以8卡910B训练机为例，采用鲲鹏920 ARM CPU、24*64GB内存、200G RDMA网卡，功耗仅4.5KW（x86需12KW） 关键技术：HCCS卡间互连带宽达392GB/s，配套
2025-10-24 10:34:13
503
转载 NVDIA 高性能 GPU 服务器硬件拓扑与集群组网
本文系统地介绍了GPU训练集群的硬件架构与互联技术，重点分析了NVIDIA主流GPU服务器的内部拓扑结构。文章首先阐述了PCIe交换芯片、NVLink、NVSwitch等核心组件的工作原理，并对比了不同代际NVLink和HBM的性能差异。随后详细拆解了8卡A100/A800、H100/H800、L40S等典型服务器的硬件拓扑，包括PCIe层级、NVLink互联方式及网络配置方案。文章特别指出L40S机型通过去除NVLink降低了成本，但需要依赖200Gbps网络实现卡间通信。最后介绍了面向中国市场的H20配
2025-10-24 10:32:59
218
转载 【百度】智能云大规模 AI 高性能网络的设计与实践
百度智能云AIPod高性能网络设计满足大模型训练的三大核心需求：超大规模、超高带宽和超长稳定。针对千亿参数大模型训练所需的分布式并行计算，AIPod采用8通道CLOS架构设计，支持超16K GPU规模，通过无收敛网络拓扑和RDMA技术实现单卡20GB/s的Allreduce带宽。在网络稳定性方面，创新性地采用动态负载均衡、黑盒探测和性能透视平台等技术，将硬件故障影响控制在秒级。实践表明，该网络能支持千卡规模任务持续稳定运行，单卡通信带宽达百G水平。AIPod作为AI大底座的核心组件，显著提升了大模型训练效率
2025-10-10 17:45:57
1091
原创 [SIGCOMM‘25] Revisiting RDMA Reliability for Lossy Fabrics
摘要：针对AI算力激增带来的智算网络挑战，华为提出DCP（数据控制分离）技术，重构RDMA可靠性设计。DCP通过区分数据平面（有损）和控制平面（无损），结合交换机Packet Trimming和加权轮询调度，消除PFC依赖，兼容多路径传输。实验显示，DCP在丢包恢复效率上提升1.6-72倍，AI任务完成时间降低42%，支持百公里长距传输。该技术是华为AI原生传输(ANT)方案的关键特性，为大规模智算网络提供高性能传输支持。
2025-10-10 17:44:25
1759
原创 [SIGCOMM‘24] Alibaba HPN: A Data Center Network for Large Language Model Training
阿里云HPN数据中心网络针对大语言模型(LLM)训练进行了优化设计。传统数据中心网络存在负载均衡问题和单点故障风险，无法满足LLM训练的高流量突发性和高可靠性需求。HPN采用去堆叠双上联+双网络平面+大二层架构，通过减少哈希运算次数解决负载不均衡问题，并提升容错能力。单Pod可支持15K GPU，跨Pod支持100K GPU规模，训练性能提升14.9%，故障恢复时间显著缩短。该架构有效解决了LLM训练中的网络性能瓶颈和可靠性挑战。
2025-10-10 17:43:38
1933
原创 [SIGCOMM‘24] Pingmesh: A Large-Scale System for Data Center Network Latency Measurement and Analysis
微软数据中心网络监控系统Pingmesh的设计与实践：通过分层采样和TCP/HTTP探测实现大规模数据中心网络延迟测量与分析。系统采用Controller-Agent架构，Controller生成智能探测列表，Agent执行10s间隔的端点探测并将结果存入Cosmos。通过5min-1天的多粒度分析，实现99.99%延迟在100ms内的SLA监控，并能自动识别交换机静默丢包等故障。相比传统N^2复杂度方案，Pingmesh在微软每日处理2千亿次探测，形成24TB监控数据，为网络故障诊断提供可靠依据。关键设计
2025-10-10 17:43:05
1950
原创 [SIGCOMM‘24] R-Pingmesh: A Service-Aware RoCE Network Monitoring and Diagnostic System
R-Pingmesh是首个基于端到端探测的服务感知RoCE网络监控系统，能准确测量网络延迟和主机处理时延，区分网卡与网络丢包，判断问题根源。该系统采用商用RDMA网卡，包含Agent、Controller和Analyzer三个模块，覆盖集群监控和服务跟踪功能。部署测试显示其问题定位准确率达85%，成功检测14类问题，包括硬件故障、配置错误和网络拥塞等。未来研究方向包括适配IB集群、GPU异常检测和自动诊断等。该系统已在数万RNIC上部署，成为RoCE网络关键监测工具。
2025-10-10 17:42:33
1869
转载 快手DHPS 基于RDMA 通信的可负载均衡高性能服务架构
摘要：快手研发的DHPS架构通过创新性改造，构建了国内首个基于RDMA通信的高性能在线服务系统。该架构采用端网协同设计，包含三大核心模块：构建支持AZ级部署的四层网络、自主研发高性能存储引擎和RDMA通信库、实现智能流量调度。存储引擎采用12路CuckooHash索引和SIMD优化技术，查询吞吐提升270%；通信库实现RDMA与TCP自动切换，网络延迟降低35%。整套系统在200节点规模下实现99.999%可用性，存储节点从200台缩减至个位数，机器成本节省70%。该架构不仅支持推荐大模型落地，其基础设施还
2025-10-10 17:41:48
1079
转载 OPPO RDMA 在典型场景下的技术应用
OPPO在典型业务场景中应用RDMA技术的实践与经验总结。文章分析了三种适配场景：机器学习/分布式存储等可直接使用社区成熟方案；RPC类通信需修改接口调用方式；私有通信协议需解耦业务与网络IO。重点以Redis改造为例，详细阐述了如何基于RDMA特性重构网络传输层，包括连接管理、事件处理等核心模块的实现方案，并指出改造过程中的关键点和潜在挑战。文中提出的分层改造思路和具体实现方法，为类似业务系统的RDMA迁移提供了有价值的参考。
2025-10-10 17:40:52
1076
转载 弹性 RDMA 的技术解析与实践
摘要： 阿里云推出的弹性RDMA（eRDMA）技术通过复用VPC网络，结合自研拥塞控制算法，实现了高吞吐、低延迟的大规模RDMA组网能力。eRDMA完整兼容现有RDMA生态，支持200Gbps带宽和8μs延迟，适用于AI、HPC等高性能场景。相比传统TCP，eRDMA在Redis、Spark等应用中可提升性能30%-130%。其关键技术包括基于VPC的Overlay RDMA部署、自研CC算法和HPCC拥塞管理，同时保持云服务器的热迁移、热升级特性。测试显示，eRDMA加速Redis性能达TCP的2.46倍
2025-09-10 11:22:50
1291
原创 LSF 作业负载管理
摘要：LSF作业生命周期包含提交、排队、调度、执行和返回结果等阶段。使用bsub命令提交作业时可指定参数修改默认行为，作业需提交到配置了优先级、资源限制等特性的队列中。LSF根据用户权限、节点限制、资源需求等条件自动选择合适队列，并基于队列优先级、公平共享等策略调度作业。节点选择时检查主机负载、资源匹配度等条件，确保在最优节点执行。作业执行时会继承提交主机的环境变量和工作目录。（149字）
2025-09-10 11:21:15
1723
原创 RDMA和RoCE有损无损
拥塞问题:ReactionPoint 响应端(发送方网卡) --------------- Congestion Point 拥塞点交换机 -------------------- NotificationPoint 通知发起方(接收方网卡)
2025-09-10 11:20:35
1659
原创 基于RDMA 通信的可负载均衡高性能服务架构
Embedding Table巨大的存储需求使得这些系统通常采用CPU和GPU异构部署的方式构建. 随着模型参数量剧增, 特别是模型需要捕获用户更长期更丰富的行为, 同时物料Embedding也快速增长时, Embedding Table这些存储节点和GPU推理服务器之间的通信还在使用TCP导致CPU占用率占用高、延迟高、吞吐低等劣势, 严重制约了服务响应时间,限制了模型预估机器的ScaleOut规模.
2025-09-10 11:19:35
2186
原创 OVS全科普
除非必要，否则最好将其关闭，因为它可防止来自子网络的用户采用 IP 地址欺骗手段，并减少 DDoS （分布式拒绝服务）攻击的机会。后，二层的网桥在转发包时也会被iptables的FORWARD规则所过滤，这样有时会出现L3层的iptables rules去过滤L2的帧的问题（见。#OVS的术语解释(https://typesafe.cn/posts/ovs-learn-1/)ovs-vsctl add-br br-int #添加网桥。ovs-vsctl del-br br-int #删除网桥。
2025-08-06 10:00:20
3490
原创 DPDK全科普
NUMA来源于微架构，处理器和本地内存之间有更小的延迟和更大的带宽；每个处理器还可以有自己的总线。处理器访问本地的总线和内存时延迟低，而访问远程资源时则要高。DPDK充分利用了NUMA的特点，每个核都有自己的内存，一方面是本地内存的需要，另一方面也是为了cache一致性用本地处理器和本地内存处理本地设备上产生的数据处理器核数（cpu cores）：每个物理CPUcore的个数逻辑处理器核心数（siblings）：单个物理处理器超线程的个数系统物理处理器封装ID（
2025-08-06 09:58:49
3562
原创 LLM应用系统评估与优化
现在，我们已经构建了一个简单的、一般化的大模型应用。回顾整个开发流程，我们可以发现，以调用、发挥大模型为核心的大模型开发相较传统的 AI 开发更注重验证迭代。由于你可以快速构建出基于 LLM 的应用程序，在几分钟内定义一个 Prompt，并在几小时内得到反馈结果，那么停下来收集一千个测试样本就会显得极为繁琐。因为现在，你可以在没有任何训练样本的情况下得到结果。因此，在使用LLM构建应用程序时，你可能会经历以下流程：首先，你会在一到三个样本的小样本中调整 Prompt ，尝试使其在这些样本上起效。
2025-07-11 17:46:28
4207
原创 LangChain构建RAG应用
LCEL（LangChain Expression Language，Langchain的表达式语言），LCEL是一种新的语法，是LangChain工具包的重要补充，他有许多优点，使得我们处理LangChain和代理更加简单方便。上面代码中我们使用 LCEL 将不同的组件拼凑成一个链，在此链中，用户输入传递到提示模板，然后提示模板输出传递到模型，然后模型输出传递到输出解析器。| 的符号类似于 Unix 管道运算符，它将不同的组件链接在一起，将一个组件的输出作为下一个组件的输入。类型，前面我们见过的。
2025-07-11 17:45:56
3953
原创 大模型应用开发
图像生成模型（image / vision）：用于生成图片或处理视觉任务，如 stable-diffusion、llava 等。语音识别/合成模型（audio / speech）：用于语音转文本或文本转语音。代码生成模型（code）：专门用于代码补全、生成和理解，如 code-llama。指令/任务特化模型（instruct）：针对特定任务优化的模型，如 summarization、translation、classification 等。
2025-07-11 17:45:05
4594
原创 ollama大模型spring单机集成
ollama作为一个工具(且开源)，让大模型的安装与运行变得非常简单。ollama支持多种操作系统，为了方便可以直接使用Docker运行。下载命令一行搞定：dockerbrewollama上手ollama下载好后，直接运行#运行ollama，并指定挂载目录和映射端口#进入ollama容器。
2025-07-11 17:44:06
4269
原创 高可用架构设计要点
容量规划阶段更多是要依靠自身和团队的经验，比如要了解系统的 log 的性能、redis 的性能、rpc 接口的性能、服务化框架的性能等等，然后根据各种组件的性能来综合评估已经设计的系统的整体性能情况。评估的时候，要从一个整体角度来看全局的量级，然后再细化到每个子业务模块要承载的量级。在高可用服务设计章节提到，核心服务可以监控：服务流量预警、端口存活、进程占用的资源、服务接口功能逻辑是否正常，应用 FGC 等情况，需要一个完善监控告警机制，并在告警后，通过一定的策略进行处理，以致服务可以快速恢复。
2025-05-23 10:08:56
4509
原创 Java与Go差别在哪
Golang: 编码风格及可见域规则严格且简单；Java: 来说层次接口清晰、规范。主要表现有： 1.1 变量1.2 作用域规则Java: 对方法、变量及类的可见域规则是通过 private、protected、public 关键字来控制的，具体如下。作用域当前类同一package子孙类public√√√protected√√√default（无修饰词）√√×private√××。
2025-05-23 10:07:29
4739
原创 可编程网卡芯片在京东云网络的应用实践【BGW边界网关篇】
边界网关(BGW，Border Gateway)，是京东云用来承载VPC南北向流量的一种网关，主要作用是与其他外部网关或环境进行内网互通。在边界网关支持创建VPC接口功能前，边界网关一旦创建、即自动与同地域的所有VPC连通。随着边界网关的VPC接口功能上线，新建的边界网关默认不与任何VPC连通，用户需要创建"VPC接口”用于打通指定VPC和边界网关的互联；
2025-02-11 22:59:47
4674
原创 磁盘增长不释放问题
进 程所打开的每个文件都有一个符号连接在该子目录里, 以文件描述符命名, 这个名字实际上是指向真正的文件的符号连接，（和 exe 记录一样）．例如, 0 是标准输入, 1 是标准输出, 2 是标准错误, 等等. 程序有时可能想要读取一个文件却不想要标准输入，或者想写到一个文件却不想将输出送到标准输出去，那么就可以很有效地用如下的办法骗过(假定 -i 是输入文件的标志, 而 -o 是输出文件的标志)又或者说，怎么在日志进行滚动的时候，进程的标准输入和标准输出的inode重定向到新的？
2023-06-07 15:36:04
5626
原创 wasm开发示例
envoy有着很强的可配置性，但总归有一些功能是没有实现的，那么如何对envoy进行扩展呢？有2种做法：一个是直接修改envoy源码，另一个是通过Web Assembly插件。直接修改源码的好处是envoy native，性能最好，但带来了可维护性的降低，不利于未来升级，另外也需要使用c++进行编码，对开发人员有一定的要求。
2023-05-09 10:48:56
6120
1
原创 Connection refused问题总结
发现是安全拦截导致，因为在安全的IP封禁里面的规则对于别人是不可见的，部分出口防火墙的公网被安全封禁，在开发人员你那边是不清楚底层网络通信被转了几手，中间通过了哪些个节点，所以可以询问下网络同事。权限无问题，请检查应用。步骤1、在x.x.x.1上：ping x.x.x.2，查看是否有丢包（packet loss），1%以上确认中间网络的链路就有丢包故障。步骤2：在x.x.x.1上：telnet x.x.x.2 80，查看response速度，正常应该是瞬间返回，人为几乎感知不到延迟。
2023-03-27 15:15:18
19104
原创 OVS网络看redis空闲5分钟后异常断开问题
因为fin+ack的报文被drop了，而且redis发送的fin+ack距离上一个ack报文的时间间隔是5分钟，所以怀疑是redis发送的ack报文或是push+ack报文有问题，需要check这两种报文的sequence是否正确，然后将netfilter的pr_debug日志打开，如下。当设置了IP_CT_TCP_FLAG_DATA_UNACKNOWLEDGED标记后，ct的timeout更新为nf_conntrack_tcp_timeout_unacknowledged（默认5分钟）
2023-03-13 20:59:58
9343
原创 CNI-Terway讲解
以下几个方面做的比较好：IP池化，减轻对SDN访问访问压力，减少访问openapi，提升pod创建效率device-plugin 让集群感知IP数量，IP作为一种调度资源。提升调度效率和IP有效利用率ipvlan I3s提升网络性能QoS增加更多流量控制手段，为资源隔离提供更健壮的保证。
2023-03-13 10:27:33
9277
原创 MySQL连接池周期性失败--ipvs组件主动断开15m未活动的TCP长连接
业务Pod，每隔10分钟创建1个MySQL连接，总共创建5个，单个连接在15分钟内没有被复用，空闲时间超过IPVS阈值，被kill了。Pod日志=======IPVS Conns======0:00 Conn160:0065:0070:0075:0080:0085:0090:0095:00100:00。
2023-03-01 17:20:19
9388
1
原创 Docker容器cpu利用率问题
a) 经过大量测试物理机top和docker里的进程CPU使用率是完全一致的，也分别对比了容器和物理机的/proc/PID/stat和/proc/stat文件的内容， 数据几乎差不多（因为stat文件时刻在变化），而top对cpu的使用率计算方式就是通过这两个文件拿到的数据值。b)得出结论，可以在容器内使用top查看进程的cpu使用率。
2023-03-01 14:36:32
12034
原创 K8S DNS解析过程和延迟问题
5、如果本地DNS服务器本地区域文件与缓存解析都失效，则根据本地DNS服务器的设置（是否设置转发器）进行查询，如果未用转发模式，本地DNS就把请求发至13台根DNS，根DNS服务器收到请求后会判断这个域名（.com）是谁来授权管理，并会返回一个负责该顶级域名服务器的一个IP。本地DNS服务器收到IP信息后，将会联系负责.com域的这台服务器。6、如果用的是转发模式，此DNS服务器就会把请求转发至上一级DNS服务器，由上一级服务器进行解析，上一级服务器如果不能解析，或找根DNS或把请求转至上上级，以此循环。
2023-02-20 15:00:21
12018
原创 Calico IPIP模式mtu问题
昨日怀疑IPIP隧道tunl0的mtu有问题，今天分析后，修改集群Calico的mtu从1440到1430，问题解决。后续会针对Calico IPIP模式调整集群部署工具的参数。
2023-02-10 16:11:46
10385
原创 go Redis SDK线程实现导致延迟问题分析说明
6. 与客户沟通，podA设置了liveness和readiness probe，探测http端口，问题发生期间，没有出现异常，说明node本地容器网络没有问题。1.客户做压力测试时问题发生，在podA内手工发送http本地请求，延迟明显，有时延迟2-10s，有时卡住curl不退出。PodB没有明显卡顿。在进行压力测试过程中，发现客户端访问业务pod访问有延迟，共两个pod，一个延迟大(2-10s),一个延迟小。7.客户对podA没有对各环节做详细的延迟监控，没有关键路径的日志，异常日志等。
2023-02-06 16:35:25
9388
原创 pod访问不通问题--kube-proxy未正常创建
用户问题Pod创建后访问对象存储OSS不通。初步排查初步排查，网络连通性是OK的。再次反馈创建Pod后2分钟内可能存在业务不通。业务架构该集群采用了节点自动弹缩功能，节点弹缩范围在13-28之间。用户周期性创建大批量Pod，共300个，与对象存储OSS交互，Pod生命周期2分钟左右。CoreDNS中配置了用户DNS。（可以通过CoreDNS的Configmap查看，此处略）排障预案1、瞬时大批量Pod能否顺利创建2、Node autoscaler是否及时3、集群组件是否正常提供服务。
2023-02-02 12:02:47
10285
1
原创 CPU ThrottlingHigh告警问题与数据指标采集
每5分钟采集一次container_cpu_cfs_throttled_periods_total和container_cpu_cfs_periods_total，根据差值计算Throttling百分比，连续三次(15分钟内)超过5%时即告警。每隔1分钟采集一次container_cpu_usage_seconds_total。cgroup cpuacct子系统cpu.stat中的nr_throttled。cgroup cpuacct子系统cpu.stat中的nr_periods。
2023-01-31 14:07:39
11707
原创 golang map原理
先说结论，在 golang 中 map 是无序的，准确的说是无法严格保证顺序的， 从上面的源码中我们可以知道，golang 中 map 在扩容后，可能会将部分 key 移至新内存，由于在扩容搬移数据过程中，并未记录原数据位置， 并且在 golang 的数据结构中也并未保存数据的顺序，所以那么这一部分在扩容后实际上就已经是无序的了。不难看出，即使不对 map 进行扩容，在多次遍历时也是无序的，这是因为 golang 官方在设计时故意加上随机的元素，将遍历 map 的顺序随机化，用来防止使用者用来顺序遍历。
2023-01-28 17:45:04
9999
原创 大闸蟹的架构师之路-基础架构组篇
本仓库更多是关于团队层面的视角，把控技术演进（为什么要做这件事）和流程规范（做事的边界和风险），不涉及单项深度，单项。
2022-09-20 20:33:48
11506
原创 Prometheus基于Consul的 Redis 多实例监控方案
在redis_exporter issues中也有人做了针对不同密码不同redis实例采集的Docker镜像, 但这种方案无论在prometheus展示中还是在consul中都会明文暴漏redis实例密码，有需要的可以自己查看[2]操作，但是维护文件对运维确实也是苦难的，可自动化程度低且复杂。的配置文件中，这样维护起来比较难，需要频繁的修改配置文件。在同一级目录下） 的动态发现，虽然不需要再频繁修改的。实现动态发现的，这也是今天说的重点，对于基于。其他过多的就不在扩展了，直接进入正题，通过。
2022-09-19 11:30:16
11237
原创 OpenStack网络
虚机的创建和管理是Nova的任务，虚机网络的创建和管理是Neutron的任务，而虚机网卡，作为连接虚机和虚机网络的桥梁，其创建和管理则同时涉及了Nova和Neutron。VPC代表了不同的租户，vpc隔离了租户，每个租户的子网之间也是隔离的。通过vxlan封装物理机中的使用vlan划分的虚拟机，可以将一个vpc中的vlan信息发送到另一个vpc中，从而达到不同vpc的主机的二层通信。它的北向有自己的RESTAPI，它在中间有自己的业务逻辑层，它有自己的DB，有自己的用于进程间通讯的消息机制。...
2022-07-22 14:57:33
11456
1
redis-desktop-manager-0.8.3-2550.dmg
2018-12-25
mac数据恢复
2018-07-06
mac的网络传输分析工具
2018-07-06
从PAXOS到ZOOKEEPER分布式一致性原理与实践
2018-07-31
深入理解Java虚拟机[JVM高级特性与最佳实践](周志明)
2018-07-31
head+first+servlets jsp
2018-07-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人