读发布!设计与部署稳定的分布式系统(第2版)笔记24_互联层之负载均衡

Kimi K3模型16节点集群部署实战:实现20+ TPS的高性能推理服务 大规模语言模型(LLM)推理服务化是企业AI应用落地的关键环节,其核心挑战在于如何通过分布式架构突破单机算力与显存瓶颈,实现高并发、低延迟的稳定服务。从技术原理上看,这通常涉及模型并行、流水线并行与数据并行等分布式计算范式,结合连续批处理、PagedAttention等优化技术,以提升GPU利用率和整体吞吐量。其技术价值在于为企业级AI应用(如智能客服、内容生成平台)提供了可扩展的高性能推理后端,支撑海量用户并发访问。在实际应用场景中,部署如Kimi K3这类大模型的高性能集群,需要综合规划硬件选型、软件栈 阅读详情

 

1. 水平扩展

1.1. 有助于提高系统的整体容量和韧性

1.2. 现阶段构建的几乎所有系统,都使用了能够水平扩展的实例农场

1.3. 引入了对负载均衡的需求

2. 负载均衡

2.1. 在整个实例池中分发请求,从而尽可能快地正确响应所有请求

2.2. 负载均衡会创建映射到实例池的“虚拟IP地址”

2.3. DNS轮询视为负载均衡的一种手段

2.4. 负载均衡器是系统服务中不可或缺的组成部分,不能将其仅仅视为网络基础设施的一部分

2.5. 构建服务和规划部署时,需要与负载均衡设计结合起来

2.5.1. 如果系统结构将负载均衡器处理为其他团队管理的“超出管理范围的部分”,那么甚至可以考虑在可控范围内实施一层软件负载均衡,完全安装在网络硬件负载均衡器后

2.5.2. 软件负载均衡器在OSI应用层上运行,成本低,易操作

3. 主动负载均衡

3.1. 所有类型的主动负载均衡器,都会监听一个或多个套接字

3.2. 这些套接字在一个或多个IP地址上,这些IP地址通常称为“虚拟IP地址”或VIP

3.3. 需要使用的负载均衡算法

3.4. 需要对实例进行的健康状况检查

3.5. 运用哪种会话黏性进行客户端会话

3.6. 当实例池中没有可用实例时如何处理传入请求

3.7. 对发出调用的应用程序而言,负载均衡器应是无形的

3.8. 如果客户端能感知到负载均衡器,那么很可能是负载均衡器停机了

3.9. 图示

 

4. 反向代理服务器

4.1. 反向代理服务器后的服务提供方实例,需要生成多个URL,包含虚拟IP地址对应的DNS名字,而不是自身的主机名

4.2. 无论如何都不应该使用实例自身的主机名

4.3. 通的正向代理服务器采用多路复用将传出的多个调用组合到单个源IP地址上

4.4. 反向代理服务器正相反,它采用逆多路复用将传入单个IP地址上的调用分散到多个地址上

4.5. Squid、HAProxy、Apache httpd和nginx等都是很好的反向代理服务器,能够起到负载均衡的作用

4.6. 讲规矩”的代理服务器,会将X-Forwarded-For这样的头部信息添加到传入的HTTP请求中

4.7. 服务可以使用自定义的日志格式记录

4.8. 在反向代理服务器上配置缓存,通过缓存响应信息来减少服务实例的负载

4.8.1. 有助于减少内部网络上的流量

4.9. 由于反向代理服务器需要处理每个请求,因此它可能很快就不堪重负

4.10. 图示

 

5. 硬件负载均衡

5.1. 与反向代理服务器功能类似的专用网络设备

5.2. 和反向代理软件一样,这些设备提供同种类型的拦截和重定向功能

5.3. 相比反向代理软件,硬件负载均衡器运行时更靠近网络,所以能够更好地提供容量和吞吐量

5.3.1. 能满足的网络规模更大,但它要求直接访问网络,还需要特定的工程技能

5.4. 具有应用程序感知能力,并提供在OSI模型第4层到第7层切换的能力

5.4.1. 可以负载均衡所有面向连接的协议,而不仅仅是HTTP或FTP

5.5. 可以将流量从一个站点完全切换到另一个站点

5.5.1. 在灾难恢复时特别有用,可以将流量转移到故障切换站点

5.6. 硬件负载均衡器与GSLB配合使用效果更佳

5.7. 最大的缺点是价格

5.7.1. 低端配置的价格大概是几万美元

5.7.2. 高端配置的价格轻易就能达到几十万美元

5.8. F5的Big-IP产品

6. 健康状况检查

6.1. 负载均衡器不会将流量发送到未通过若干健康状况检查的实例

6.2. 是负载均衡器配置的重要组成部分

6.3. 良好的健康状况检查可以确保请求能够执行成功,而不仅仅是服务正在监听套接字

7. 会话黏性

7.1. 负载均衡器会尝试将重复的请求引向同一个实例,这对应用程序服务器中的有状态服务很有帮助

7.1.1. 有助于缩短有状态服务的响应时间

7.2. 会话黏性需要某种方式来确定如何将“重复请求”分组到一个逻辑会话中

7.3. 黏性会话的缺点是它会阻止负载在机器间均匀分布

8. 按请求类型分隔流量

8.1. 使用基于内容感知的负载均衡

8.1.1. 有效运用负载均衡器的方法是“基于内容的路由”

8.2. 请求中的某些内容对负载均衡器必须是可识别的

GPT-4参数量与激活率真相:1.8万亿不是显存占用,2%不是固定比例 大语言模型的参数量是衡量其容量上限的核心指标,但需区分逻辑参数池与物理显存占用;MoE(Mixture of Experts)架构通过稀疏激活实现高效推理,其激活率取决于路由策略(如top-k选择)、温度系数和负载均衡机制,而非静态百分比。技术价值在于以可控计算开销支撑超大规模知识表达,广泛应用于高并发对话、长文本理解与私有化部署等场景。本文深入剖析GPT-4所传‘1.8万亿参数’与‘2% per token’的真实含义,揭示参数量、激活率、显存需求与计算成本之间的本质差异,破除将MoE激活率直接等同于资源 阅读详情

相关推荐

Qwen3.6推理后端选型:Spark与Halo性能实测对比

大模型推理引擎是保障服务低延迟、高并发与资源效率的核心基础设施。其本质是围绕KV缓存管理、动态批处理、显存优化与调度策略构建的系统工程,直接影响P99延迟、吞吐量与长上下文稳定性。当前主流方案如vLLM衍生框架与轻量级自研引擎(如Spark、Halo)在架构取向上呈现明显分化:前者强于云原生扩展性与SLA保障,后者侧重单机资源利用率与部署简易性。尤其在Qwen3.6等支持200K上下文与INT4量化的新一代模型落地中,后端适配能力直接决定RoPE动态缩放、GeGLU激活稳定性等模型特性能否充分发挥。本文基于

weixin_34060741的博客 313

读发布!设计与部署稳定的分布式系统(第2版)笔记34_读后总结与感想兼导读

读后总结与感想兼导读

lyingSeven的博客 270

互联网公司是企业在新时代的主流形态,因此在应急响应能力建设方面也是十分关注和重视的方向。为了保障互联网公司的安

作者:禅与计算机程序设计艺术 1.简介 什么是应急响应能力?应急响应能力就是指通过各种手段及方法可以迅速发现、预防、处理和纠正计算机、网络或信息系统中出现的问题。应急响应中心(Emergency Response Center)是一个由政府或组织建立起来的专门从事应急响应工作的机构,其主要职责是在计算机

AI天才研究院 1036

互联网常见架构模式 之 nginx负载均衡

一:什么是Nginx Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,并在一个BSD-like协议下发行。由俄罗斯的程序设计师Igor Sysoev所开发,供俄国大型的入口网站及搜索引擎Rambler(俄文:Рамблер)使用。事实上nginx的并发能力确实在同类型的网页服务器中表现较好,中国大陆使用nginx网站用户有:百度...

越来越好ing的博客 808

【信息科学与工程学】【安全领域】第七十篇 负载均衡设备的主要算法01

每个服务器有一个对槽位的偏好排序, 调度器(表)需要为每个槽位分配一个服务器, 目标是整体上满足所有服务器的偏好(即均匀填充), 同时保持稳定性(变化小)。: 对于一个新到达的请求, 如果将其分配到当前有cj个请求(包括正在服务的)的服务器sj, 其期望等待时间为 (cj + 1) / μj。输入:服务器集群S={s1, s2, ..., sn}, 权重W={w1, w2, ..., wn}, 当前指针i。输出:选中的服务器sj。输入:服务器集群S, 各服务器当前活动连接数cj, 各服务器预设权重wj。

weixin_49199313的博客 524

【信息科学与工程学】【运营科学】第二篇 C4信息与通信网络运营 (C4) ——数据中心网络运营06

13 | 司法诉讼 | 原告律师 | 争取和解优势 | 证据披露的序贯博弈 | 策略性证据释放 | 持有证据集E = {强证据e_s, 中证据e_m, 弱证据e_w}。设公众原有认知人格向量为 Pold​​=(p1​,p2​,...,pk​), 其中p_i为负面特质(如“不敬业”)。危机后, 通过行为序列 {At​}和宣传, 将公众认知向新向量 Pnew​​引导, 使得在关键维度上, Pnew​​与 Pold​​的余弦相似度降低, 并与一个正面的、可接受的“原型”(如“浪子回头”、“慈父”)对齐。

weixin_49199313的博客 1483

负载均衡完整知识体系(面试/架构全覆盖)

本文系统阐述了负载均衡(LB)的完整知识体系,涵盖核心定义、架构设计、算法实现及生产实践。主要内容包括: 核心概念 本质是流量分流+故障兜底+资源优化 四大价值:高可用(故障自动剔除)、高性能(压力分摊)、弹性伸缩(动态扩缩容)、流量可控(灰度/安全) 分层架构 四层LB(LVS/IPVS):内核态TCP/UDP转发,适配中间件/RPC 七层LB(Nginx/APISIX):应用层精细化路由/SSL卸载/灰度发布 GSLB:跨机房调度,实现异地多活 十大算法 静态算法(轮询/加权/IP哈希) 动态算法(最小

专注 Java 后端开发,分享基础语法、JVM、并发、Spring 全家桶、微服务、分布式、性能优化等实战干货。坚持输出高质量技术笔记,用简单语言讲清复杂原理,助力每一位 Java 开发者稳步进阶。 536

zabbix添加IBM服务器SNMPV3监控

本地采用欧冠的是zabbix5.0,服务器型号是SR860,使用snmpv3因为只支持这个,醉了。说明:本地采用欧冠的是zabbix5.0,服务器型号是SR860。

萌新包大人的博客 1984

大型网站的特点与设计宗旨

大型网站的9大特点 高并发,流量大 高可用 大数据 敏捷开发,迭代快 用户量庞大 可持续升级 安全级别高 可弹性伸缩 吞吐量高 高并发,流量大 网站的请求量大: - 百度日均访问量50亿+; - QQ早就突破1亿用户同时在线; - 淘宝双十一惊人的并发量 高可用 假设服务器宕机了,用户就无法访问 我们就必须保证网站稳定的向用户提供7*24小时不间断的服务 哪...

GE159的博客 218

避坑指南:MTK平台Widevine L1密钥安装全流程详解(含SP META工具使用与Log分析)

本文详细解析了MTK平台实现Widevine L1认证的全流程,涵盖密钥申请、格式转换、安全烧录等关键步骤,特别针对Trustonic TEE环境下的SP META工具使用与日志分析提供实用指南。帮助开发者规避常见错误,确保DRM密钥安全部署,满足高端内容保护需求。

weixin_27219587的博客 476

【数字电源/MATLAB+PLECS】如何进行 Buck 数字电源仿真(二)PLECS 搭建开环 Buck 功率级

本文介绍了如何在PLECS中搭建开环Buck功率级模型,验证数字电源设计的基本思路。重点内容包括: 明确开发顺序:先开环验证功率级,再闭环设计控制器 搭建关键组件:输入电源、PWM模块、MOSFET开关、续流二极管、LC滤波电路及负载 设置初始参数:24V输入、12V输出、200kHz开关频率、22μH电感、100μF电容 测量关键波形:MOSFET Vds验证开关动作、电感电流纹波和输出电压稳态值 提供完整仿真模型和GitHub资源,便于读者复现验证 文章强调通过开环测试先确保功率级正确性,为后续闭环控制

weixin_43234123的博客 1218

【开题报告】基于Springboot+vue基于高可用集群的校园博客的搭建与实现(程序+源码+论文) 计算机毕业设计

随着互联网技术的飞速发展,校园网络文化日益繁荣,博客作为个人表达与知识分享的重要平台,在校园内拥有广泛的用户基础。然而,传统校园博客系统往往面临单点故障、性能瓶颈及数据安全性等问题,难以满足日益增长的用户需求和高并发访问场景。因此,构建一个基于高可用集群的校园博客系统显得尤为重要。该系统通过分布式架构和负载均衡技术,能够有效提升系统的可用性、扩展性和数据安全性,为师生提供更加稳定、高效、安全的博客服务体验。

计算机毕设程序设计 944

PyTorch实战:手把手教你用QAT量化感知训练拯救模型精度(附避坑指南)

本文详细介绍了如何使用PyTorch进行QAT量化感知训练,以提升模型在边缘设备上的推理精度。通过核心原理讲解、实战代码示例和避坑指南,帮助开发者掌握从环境配置、模型训练到边缘部署的全流程,有效解决传统量化方法导致的精度损失问题。

c7d8e的博客 329

Dubbo面试25题

文章目录1.Dubbo是什么?2.Dubbo的由来?3.Dubbo的主要应用场景?4.Dubbo的核心功能?5.Dubbo的核心组件?6.Dubbo服务注册与发现的流程?7.Dubbo的架构设计?8.Dubbo的服务调用流程?9.Dubbo支持哪些协议,每种协议的应用场景,优缺点?10.dubbo推荐用什么协议?11.Dubbo有些哪些注册中心?12.Dubbo默认采用注册中心?13.为什么需要服...

零点笔记 249

GPU架构(1.1)--介绍 GPU的 VPU(Vision Processing Unit)架构

基于自研的 VPU(Vision Processing Unit)架构,专为高性能图形处理和深度学习设计。VPU 架构通过优化计算单元、内存层次结构、同步机制和指令流水线,提供了卓越的性能和能效。VPU 架构通过优化计算单元、内存层次结构、同步机制和指令流水线,提供了卓越的性能和能效。这种架构不仅适用于高性能图形处理,还广泛应用于深度学习、科学计算和边缘计算等领域。通过了解 VPU 架构的详细设计和工作原理,读者可以更好地利用这些先进的 GPU 技术,开发出高效、可靠的计算系统。

MHD0815的博客 1300

【26美赛A题】2026美赛数学建模(MCM/ICM)思路解析及代码分享

本文介绍了2026年美赛数学建模A题的解题思路与方法。A题通常属于连续型系统问题,重点在于构建可解释的机理模型,通过将现实机制转化为动态方程进行仿真预测。文章提出了通用建模路线,包括机理抽象、模型假设、动态建模、参数识别、系统仿真和情景预测六个阶段。专栏将提供从机理到方程的系统建模思路、参数标定方法、Python/Matlab实现代码以及高分论文模板。内容适合参加2026美赛A题、偏重物理/工程建模方向的参赛队伍,旨在提升机理建模能力。后续将更新完整题解和源码。

一键难忘的博客 2011

GPT-4参数量与MoE路由真相:破除1.8万亿和2%的工程迷思

大模型参数量是衡量AI能力的基础概念,其背后涉及模型规模、计算效率与硬件适配等核心原理。随着混合专家(MoE)架构普及,参数激活机制从全量稠密转向动态稀疏,技术价值在于解耦模型能力扩展与单次推理开销。典型应用场景包括长上下文处理、领域自适应生成及端云协同部署,其中GPT-4的1.8万亿参数和MoE路由策略成为行业关键参考。然而,‘1.8万亿参数’实为系统级资源规划指标,而‘2% per token’则是脱离上下文的瞬时观测误读——真实激活率受输入复杂度、历史负载与dropout机制共同影响,在实际混合负载中

weixin_30267785的博客 418

015:机载三维激光扫描技术相关知识

机载三维激光扫描系统(LiDAR)是集激光、GPS、INS等尖端技术于一体的三维航空遥感技术,能高效准确获取地表三维信息。该系统由GPS、INS、激光扫描测距系统、成像装置和工作平台组成,各部件协同工作以获取精确的空间定位、运动状态、地表三维坐标及真实色彩信息。通过制定飞行计划、安置GPS基站、激光扫描测量、惯性测量及获取高清数码影像等步骤,机载LiDAR技术能实时获取大范围高精度三维数据。该技术具有扫描速度快、精度高、全数字特征等优势,广泛应用于测绘、工程、环境监测和城市建设等领域,如城市三维模型重建、灾

qq_31762031的博客 1726

论应用服务器基础软件

为落实政务服务一网通办改革要求,解决原有政务系统烟囱式建设、数据不通、办理流程繁琐、高峰期系统卡顿宕机等问题,我所在团队于2024年3月至2024年11月承建了市级政务一体化便民服务平台项目。

ai_coder_ai的博客 227

21、空间数据处理中的克里金方法及应用

本文介绍了空间数据处理中的克里金方法,特别是带外部漂移的克里金法(KED)及其在遥感数据融合和支持变化问题中的应用。讨论了克里金方法的基本原理、优缺点以及在不同空间分辨率遥感图像融合中的具体操作流程。同时,还涉及了地统计数据融合和支持变化问题的解决方案,包括块克里金法、面到点克里金法和多边形克里金法等。

gold的博客 90

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Llama 4 MoE架构深度解析:开源大模型的工业级分水岭

混合专家(MoE)架构正从学术概念走向大规模工业部署的核心范式,其本质是通过动态稀疏激活实现计算效率与模型容量的平衡。原理上依赖精准路由机制、负载均衡损失约束与专家权重异步加载等关键技术,显著提升单位算力下的知识覆盖广度。技术价值在于打破‘参数即能力’的旧认知,推动AI系统向硬件感知、分布式协同和细粒度调度演进。典型应用场景涵盖金融智能投顾、医疗报告生成、法律合同解析等需高精度垂直推理的领域。Llama 4作为首个将MoE全面工程化落地的开源大模型,标志着开源AI正式迈入系统级能力竞争新阶段。

anvt77205的博客 350

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

2025毕设springboot 基于高可用集群的校园博客的搭建与实现论文+源码

因此,本选题将以校园博客系统为研究情景,重点分析和研究基于高可用集群的校园博客搭建与实现问题,以期探寻高可用集群技术在校园博客系统中的适用性和优化策略,提出有效的搭建方案,为后续校园信息化建设中类似系统的搭建提供基础。理论意义在于,通过对高可用集群技术的研究和应用,可以深入剖析其在校园博客系统中的实现机制,丰富高可用集群技术的应用场景和理论体系。现实意义在于,搭建基于高可用集群的校园博客系统,能够显著提升系统的稳定性和可靠性,保障用户在任何时间、任何地点都能稳定访问博客系统,提高用户体验和校园信息化水平。

zhihao508的博客 740

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

【架构师之路】四、系统架构

高并发,大流量Google 日均 PV 数 35 亿,日均 IP 访问数 3 亿微信在线用户数 10 亿天猫双十一活动一天交易额 3000 亿高可用系统 7*24 小时不间断服务。大型互联网站的宕机事件通常会成为新闻焦点。海量数据需要存储、管理海量数据。Facebook 每周上传的照片数目接近 10 亿百度收录的网页数目有数百亿Google 有近百万台服务器为全球用户提供服务用户分布广泛,网络情况复杂中美光缆的数次故障,也让一些对国外用户依赖较大的网站不得不考虑在海外建立数据中心。安全环境恶劣黑客攻击。需求

程序员蜗牛 295

Kimi K2.5技术解析:1T参数多模态大模型的工程化实现

大语言模型正从‘参数竞赛’迈向‘可部署智能’新阶段。千亿级参数模型不再仅是学术指标,而是支撑长上下文理解、跨模态对齐与边缘推理的系统性基础设施。其核心原理在于稀疏激活机制与统一隐空间建模的协同设计,通过Token-Aware路由、分层KV缓存和动态模态门控,在保障语义表达能力的同时显著降低计算开销。这类模型的技术价值体现在硬件感知调度、训练稳定性增强与模块级可调试性上,广泛适用于法律文书分析、医疗图文推理、工业质检等需高可信度AI决策的场景。本文深入解析Kimi K2.5这一典型开源实现,聚焦1T参数与多模

weixin_34199335的博客 481

【课程设计】基于协同过滤算法的二手车交易系统的设计与实现 计算机毕业设计源码93770

系统的主要功能包括卖家和买家的注册登录、车辆信息管理、买卖双方的互动交流、车辆推荐、车友论坛、以及管理员对系统的管理等。此外,通过引入协同过滤算法,系统能够根据用户的浏览历史和行为数据,提供个性化的二手车推荐,提升了用户体验和交易效率。 系统的设计遵循模块化与微服务化原则,确保了各个功能模块的高内聚与低耦合,便于扩展和维护。通过前端和后端的密切配合,系统不仅保证了数据处理的实时性和准确性,还能够应对高并发访问和大数据量的挑战。此外,系统还包含了车友论坛和车辆预订等社交功能,增强了用户间的互动性....

Biye_Design的博客 1万+

# MinIO :从传统部署与运维实战到结合 Kubernetes(K8s) 的拓展运用

MinIO 是由 GlusterFS 创始人之一 Anand Babu Periasamy 发起的开源项目,使用 Go 语言编写,是高性能、云原生、与 S3 兼容的对象存储系统。MinIO 自身既是“存储架构”也是“管理软件”,它不依赖操作系统的文件系统来管理数据,而是直接调用底层的 XFS(硬盘),把文件切成碎片(纠删码),绕过操作系统目录树,直接以对象 ID 的形式散落在硬盘的每个角落,用 MinIO 自己内部的元数据引擎去管理这些碎片API 端口(默认 9000):这是S3 服务端口。

weixin_46136019的博客 728
上一篇: 读发布!设计与部署稳定的分布式系统(第2版)笔记23_互联层之DNS
下一篇: 选读SQL经典实例笔记08_区间查询
躺柒
博客等级 码龄4年 7004粉丝 1321原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值