TC剩余贷款分配规则

FedAvg实战指南:破解non-IID、通信效率与客户端异构性三大难题 联邦学习是一种在数据不出本地前提下协同训练模型的分布式范式,其核心原理是通过客户端本地优化与服务器加权聚合实现全局模型演进。技术价值在于平衡隐私合规、网络带宽限制与模型性能,广泛应用于医疗影像分析、金融风控和物联网边缘智能等强监管、高异构场景。其中,Federated Averaging(FedAvg)作为最基础且落地最广的算法,直面non-IID数据分布偏移、通信轮次开销大、客户端算力与网络能力差异显著等工程瓶颈。本文基于17个真实项目经验,深入解析FedAvg在生产环境中的参数调优、鲁棒聚合、硬件适配与 阅读详情
tc qdisc add dev eth0 root handle 1: htb r2q 10 default 10

r2q:在规则中的作用是用来分配剩余带宽的全局变量,它的默认值为10,此时最实用的规则的速度为15KBps(120kbit)。
quantum与r2q的关系为quantum=rate/r2q,quantum的值必须在1500到60000之间,值越小越好

每个规则的quantum的值就是从父类借用带宽的因子(也就是每个子类每次可以从父类借用空闲带宽的大小)也可以说是与其他子类同时从父类借带宽的比例。

The quantum is the maximal amount of bytes that a leaf will try to send at once. The closer the value is from the MTU, the more accurate the scheduling will be, because we reschedule after every 1500 bytes. And the larger the value of quantum will be, the more a leaf will be privileged: it will be allowed to borrow more tokens from its neighbor. But of course, since the total amount of tokens in the tree is not unlimited, if a token is borrowed from a leaf, another leaf cannot use it anymore. Therefore, the bigger the value of quantum is, the more a leaf is able to steal from its neighbor. This is tricky because those neighbors might very well have packets to send as well.

When configuring TC, we do not manipulate the value of quantum directly. There is an intermediary parameter called r2q that calculates the quantum automatically based on the rate. quantum = rate / r2q. By default, r2q is set to 10, so for a rate of 200kbits, quantum will have a value of 20kbits.

For very small or very large bandwidth, it is important to tune r2q properly. If r2q is too large, too many packets will leave a queue at once. If r2q is too small, no enough packets are sent.


It might be good time to touch concept of quantums now. In fact when more classes want to borrow bandwidth they are each given some number of bytes before serving other competing class. This number is called quantum. You should see that if several classes are competing for parent's bandwidth then they get it in proportion of their quantums. It is important to know that for precise operation quantums need to be as small as possible and larger than MTU.
Normaly you don't need to specify quantums manualy as HTB chooses precomputed values. It computes classe's quantum (when you add or change it) as its rate divided by r2q global parameter. Its default value is 10 and because typical MTU is 1500 the default is good for rates from 15 kBps (120 kbit). For smaller minimal rates specify r2q 1 when creating qdisc - it is good from 12 kbit which should be enough. If you will need you can specify quantum manualy when adding or changing the class. You can avoid warnings in log if precomputed value would be bad. When you specify quantum on command line the r2q is ignored for that class. 

How do I set r2q?

It would also be nice if r2q could be filled in in the web interface.

I think the creation of a qdisc (with child classes) stops the traffic flow. So we can't change r2q while there's traffic running without interrupting the traffic. There should an option in the web interface the fill in r2q.

If all outgoing rates are higher that 120bit, I think we can keep the default r2q (10).

If there's an outgoing rate <120bit the user can calculate r2q as 
r2q < bitrate /(1500*8)

For instance in my case: r2q < 22000 /(1500*8) or r2q < 1.83
And because r2q is an integer, it would need to be 1.

With the current software things go wrong (no fair sharing of the excess bandwidth) if there's a birrate <120 kbit/s.

http://wiki.linuxwall.info/doku.php/en:ressources:dossiers:networking:traffic_control



Let's assume we have 2 classes with the same parent :

Parent : ceil = rate = 100
class 1 : rate = 40 and ceil = 100
class 2 : rate = 20 and ceil = 100
(the used numbers are just theoretical to explain how it works)

Both classes are sending as much as they can. First, they are allowed to send enough packets to fulfill the rate even if they have different prio's. 
But the parent has some remaining bandwidth : 100 - 40 - 20 = 40. The remaining bandwidth is distributed according to the quantums. Each class can send "quantum" bytes at a turn.

Quantum is calculated as rate (in bytes) / r2q. r2q is by default 10 and can be overruled if you create an htb qdisc. Quantum can be overruled if you create an htb class. Quantum should be bigger then MTU (1500) so you can send the maximum packet in 1 turn and smaller then 60000(hard coded in htb qdisc to prevent class starvation and too long delays). 
Errors on the quantum will not affect functionality, only precision. They are also logged via syslog so they can eat a lot of file space.

Packets that are sent when the class is allowed to send, are still matched against rate/ceil/burst/cburst. So a big quantum will not create bursts if you don't allow it with the burs/cburst parameters.

Counting packets with quantum can be strange. If we have a low rate class (rate = 5kbit), default quantum = 5000 / 10 = 500 bytes. But most packets are more then 500 bytes. Htb version 1 and 2 uses DRR, so a packet larger then 1000 bytes will be sent and it will remember how much it sent and wait until the packet is paid back before another packet is send. So if you send 1000 byte, next time the class is polled, you will not be allowed to send. 
Htb3 uses the WRR scheduler. When a packet with size > quantum is sent, it will be sent and an error that the quantum is too small will be logged. But there is no pay back. The WRR scheduler is faster then the DRR scheduler. So make sure quantum is bigger then the default packet size. For 15 kbyte/s and default r2q, quantum is 1500 and this is exactly the maximum packet size. If you want to tune htb for rates smaller then 15 kbyte/s, you can manually set the r2q and/or quantum.

An example 
The parent rate is 30 and it has 3 child classes c1, c2 and c3. The rate of the 3 classes is 10. Quantum of class2 = 1 and quantum of class3 = 2. Class 1 sends 4, so it gets 4. C2 and c3 are sending as much as they can so c2 and c3 get 10 (the rate is always satisfied). The parent still has 6 to distribute between c2 and c3. It will distributed according the quantums, so c2 gets 2 and c3 gets 4.

classratetrafficquantumbandwidth
c1104?4
c210+++110+2=12
c310+++210+4=14

模型上线不是终点:生产级ML系统工程实践指南 机器学习模型部署并非开发流程的收尾,而是系统工程的真正起点。从特征服务契约、实时数据管道延迟控制,到降级策略设计、P99.9级性能保障、决策健康度监控及可审计日志体系,生产环境中的ML服务必须满足金融级可靠性、可观测性与合规性要求。本文聚焦模型上线后的关键挑战,涵盖服务集成协议制定、缓存与降级机制、混沌工程压测、概念漂移识别及监管就绪治理等实战要点,为算法工程师、SRE与风控负责人提供可落地的ML系统工程方法论。 阅读详情

相关推荐

机器学习生产化:构建高可靠、可审计、可降级的决策系统

机器学习模型上线后失效,往往不是算法问题,而是系统设计缺失所致。本文聚焦ML系统在真实金融场景中的工程落地本质——将模型从‘数学函数’升级为‘带约束的决策系统’。围绕特征时效性、服务韧性、延迟确定性、漂移可解释性、合规可追溯性等核心维度,解析如何通过熔断降级、在线监控、混沌验证、治理编码等手段,保障模型在数据缺失、流量突增、概念漂移、监管审查等复杂条件下仍输出稳定、可信、可归因的业务决策。内容深度融合ONNX推理优化、Feast特征治理、StatsD+TimescaleDB实时监控、Hyperledger存

weixin_30709061的博客 498

【信息科学与工程学】【通信工程】第三百零五篇 网络中的几何/拓扑/离散数学/组合数学 01

矩 accountant 累计。Bluetooth LE广告包。单细胞RNA-seq计数矩阵。梯度AllReduce算法。蛋白质-蛋白质相互作用网络。联邦学习本地epoch数。资本资产定价模型beta。联邦学习客户端采样比例。联邦学习服务器聚合权重。变分量子本征求解器参数。抵押贷款支持证券现金流。数据加载器工作进程数。流水线并行微批次数量。学习感知图像块相似度。边缘设备CPU利用率。ZigBee网络地址。量子近似优化算法参数。宇宙微波背景温度涨落。

weixin_49199313的博客 245

机器学习生产化:从模型上线到系统性风控的实战框架

机器学习模型部署不是技术收尾,而是系统性工程的起点。在金融等强监管场景中,模型可靠性取决于数据契约、服务集成、延迟预算、漂移检测与合规治理的协同保障。本文围绕特征一致性、fallback分级防御、全链路延迟拆解、实时漂移监控(KS/PSI+业务归因)、监管就绪验证(极端输入/对抗鲁棒性/公平性审计)及模型健康档案(MHR)等核心实践展开,融合‘模型即服务’与‘责任共担’理念,为AI系统在真实业务脉冲下的稳态运行提供可落地的技术路径。

weixin_30598225的博客 487

银行级机器学习系统:从模型上线到生产稳定的全链路工程实践

机器学习模型部署不是代码打包上线,而是将算法嵌入复杂业务系统的工程化过程。其核心在于理解数据如何流动、服务如何响应、故障如何收敛——这涉及特征管道的时效性保障、跨系统协议的严格契约、毫秒级延迟下的确定性行为,以及数据漂移与业务结果之间的因果映射。在强监管、高可用、低容错的金融场景中,模型必须具备可审计的决策链、可回滚的版本控制、可解释的输出结构和可协同的异常SOP。真正的MLOps能力,体现在当`last_30d_transaction_count`空值率飙升至47%时,系统能否自动降级并触发精准告警;也体

434

机器学习生产化:从模型上线到系统韧性建设

机器学习模型部署不是开发终点,而是系统性工程挑战的起点。其核心在于构建具备可观测性、弹性伸缩、契约化集成与漂移响应能力的ML系统——这超越了传统算法优化范畴,本质是数据管道治理、特征时效性保障与业务指标对齐的技术实践。当模型进入真实业务流,决定成败的关键已不再是AUC或准确率,而是p99延迟稳定性、feature freshness SLA达标率及决策覆盖率等可量化运维指标。本文聚焦MLOps落地中高频痛点:特征服务时间幻觉、同步/异步调用语义鸿沟、幂等性缺失引发的数据幻影,以及监控金字塔与漂移响应节奏的设

afhu47033的博客 395

【信息科学与工程学】【安全领域】第七十篇 负载均衡设备的主要算法01

每个服务器有一个对槽位的偏好排序, 调度器(表)需要为每个槽位分配一个服务器, 目标是整体上满足所有服务器的偏好(即均匀填充), 同时保持稳定性(变化小)。: 对于一个新到达的请求, 如果将其分配到当前有cj个请求(包括正在服务的)的服务器sj, 其期望等待时间为 (cj + 1) / μj。输入:服务器集群S={s1, s2, ..., sn}, 权重W={w1, w2, ..., wn}, 当前指针i。输出:选中的服务器sj。输入:服务器集群S, 各服务器当前活动连接数cj, 各服务器预设权重wj。

weixin_49199313的博客 524

生产级机器学习系统四大支柱:部署、性能、监控与治理

机器学习模型上线并非终点,而是系统性风险的起点。从Notebook验证到生产环境落地,核心挑战在于保障系统鲁棒性而非仅追求算法指标。本文围绕可集成的部署架构、可预测的性能基线、可观测的运行状态、可追溯的治理闭环四大支柱展开,深入解析特征时效性分级、智能重试熔断、延迟预算拆解、漂移影响热力图、五维压力测试等关键技术实践,覆盖金融风控等强实时、高可靠场景下的真实工程难题,为构建稳定、可信、合规的生产ML系统提供可落地的方法论与避坑指南。

weixin_34319374的博客 349

【信息科学与工程学】【财务管理】第一篇 财务管理方法和税务

​​​​​​​。

weixin_49199313的博客 954

生产级机器学习:从模型上线到系统韧性建设

机器学习模型部署不是开发终点,而是工程挑战的真正起点。在真实业务场景中,模型性能受特征供给、系统集成、延迟约束与数据漂移等多重因素影响,其稳定性远比离线指标更关键。本文聚焦生产环境下的模型服务化实践,深入解析特征管道脆弱性、fallback机制设计、毫秒级延迟优化、分布漂移检测及混沌工程验证等核心能力,强调‘系统思维’对构建可审计、可解释、可恢复的ML系统的技术价值。适用于金融、支付、风控等强SLA要求场景,尤其关注模型上线后72小时内的关键保障体系。

mxdxm8899的专栏 347

【管理科学】【金融工程】第三十三篇 企业金融资产(含股票/债券)/固定资产 管理01

编号企业性质行业企业规模企业能力模型配方算法/模型名称数据结构列表算法逐步思考推理的数学方程式及参数列表及参数的值范围时序数学方程式误差/算法复杂度底层规律和理论关系知识和法律法规1民营制造企业制造业中型现金流预测与流动性管理时序预测+统计回归LSTM (长短期记忆网络) + ARIMA, , , , ARIMA(p,d,q): 其中: B: 滞后算子; d∈[0,2] (差分阶数); p∈[0,5]; q∈[0,5]; θ为移动平均系数 ∈[-1,1] LSTM:

weixin_49199313的博客 381

【信息科学与工程学】【数据中心】 第八十八篇 IDC运营商全景的运营模型和财务、成本、融资融券

符号含义常用单位N机柜总数(标准柜 / 4kW级)个u,u∈[0,1]r单机柜(或单kW)月租金元/柜·月 或 元/kW·月kw​单机柜额定IT功率kW/柜(常见 4~8kW,AI可达 20~40kW+)PIT​总IT负载 = N⋅u⋅kw​kWPUE能效比 = Pfacility​/PIT​≥1典型 1.2~1.6τe​电价元/kWhHy​年运行小时 ≈ 8760 hhCcapex​总建设资本支出万元D年折旧额(直线法)万元/年s。

weixin_49199313的博客 638

【信息科学与工程学】【供应链体系】第二十九篇 公司供应链体系与成本、毛利、利润设计01

​。

weixin_49199313的博客 90

2026大模型工程师:从调模型到管模型工厂的工程化转型

大模型工程师不是算法研究员,而是面向生产环境的AI基础设施构建者。其核心在于将千亿参数模型转化为稳定、可审计、可计费的业务服务,本质是AI工程化落地的关键角色。技术原理上依赖异构算力编排(如vLLM动态调度)、模型生命周期治理(CI/CD+策略即代码)与业务价值度量(从QPS到财务指标穿透)。技术价值体现在降低推理延迟、提升资源利用率、满足合规审计等硬性要求。典型应用场景覆盖金融智能客服、政务问答、车载语音等高可靠需求领域。本文聚焦2026年真实岗位能力图谱与工程实践路径,深入解析vLLM、Triton、e

weixin_33937778的博客 340

【管理科学】第三十五篇 企业经营中的管理科学01 权力、风险、运营、物流、人力资源、库存、合同、品牌、业绩、项目

编号类型领域子领域/内容问题问题的数学分析(电磁/信息论/数学物理/数学化学/界面科学/表面科学 + 几何/拓扑/代数/集合论/图论/数论/函数评估/数值估计/概率/统计/向量/张量/矩阵/矢量 + 其他)算法逐步推理思考的数学表达式及实现步骤及时序流程 参数列表及参数的数值范围及数值分析及常量/常数1管理科学问题运营管理生产计划如何分配有限资源生产多种产品以最大化利润?线性代数、凸优化、单纯形法;向量与矩阵目标函数 max c^T x,约束 Ax ≤ b, x ≥ 0。步骤:①标准化引入松弛变量;②构建初

weixin_49199313的博客 247

【审计专栏】【企业管理】【市场体系】第六篇 市场营销与产品定价01

以下是对市场营销理论体系的分级分类全景图,以为核心脉络,涵盖从工业时代的经典框架到数字智能时代的整合系统。今天的营销实践,:运用分析宏观与竞争环境。:通过确定目标市场与核心价值主张,用确立在心智中的独特位置。:制定建设目标,规划与核心体验。:基于定位设计信息矩阵。:运用框架设计具体的产品、服务、价格、渠道和传播方案。:构建技术栈,支撑。:通过创造价值,在上互动。:运用思维,围绕进行快速实验和优化。:利用系统,实施策略,提升顾客忠诚度。:监控等核心指标。

weixin_49199313的博客 1139

苏格拉底式提示词:让大模型停止幻觉,学会诚实推理

大语言模型的‘幻觉’本质是概率匹配下的无约束输出,而非知识缺失;其根源在于传统提示词将模型误设为‘事实检索器’,忽视其无状态、无数据库、依赖共现统计的底层机制。苏格拉底式提示词通过问题拆解、证据溯源与不确定性声明三重结构,强制模型显性化推理路径、锚定可信来源、量化认知边界,从而将输出从‘答案交付’转向‘可信推理协作者’。该方法显著提升医疗、法律、金融等高风险场景下的决策鲁棒性,尤其适用于需应对幻觉问题、构建可审计AI工作流的专业技术团队。

dengjuanshou7445的博客 498

产业园区如何高效对接企业技术需求与高校科研成果?.docx

科易网基于AI模型+行业大数据,在技术转移、成果转化、技术经纪、知识产权、产业创新、科技招商等垂直领域的多样化应用场景,推出科技创新领域的AI+工具与数智化解决方案,推动科技创新与产业创新智能化发展。

上一篇: GIT 代理配置
下一篇: Linux 网络堆栈的排队机制
BlueSy2008
博客等级 码龄20年 26粉丝 26原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值