零抖动内存管理,金融级低延迟系统的4大隐藏技术

C++小白实习日记——Pollnet,Efvi,UDP,数据类型转换(下) 内容太多了,这篇记录UDP接收端。 阅读详情

第一章:金融级低延迟系统的本质挑战

在高频交易、实时风控和自动化做市等金融场景中,系统响应时间直接影响盈利能力。微秒甚至纳秒级的延迟差异可能导致数百万美元的收益波动。因此,构建金融级低延迟系统不仅涉及软件架构优化,更需深入操作系统、网络协议栈乃至硬件层面的协同设计。

确定性与可预测性优先

低延迟系统的核心诉求并非“极致吞吐”,而是“确定性响应”。这意味着系统在最坏情况下的延迟(Tail Latency)必须可控。常见的性能波动来源包括:
  • 垃圾回收引发的停顿(如JVM应用)
  • 上下文切换和线程竞争
  • 页错误和内存分配延迟
  • 网络中断合并与缓冲膨胀

零拷贝与内核旁路技术

为减少数据路径中的冗余复制,现代低延迟系统广泛采用零拷贝架构。例如,使用DPDK或Solarflare EFVI实现用户态直接访问网卡,绕过内核协议栈:

// 使用EFVI接收报文示例
ef_vi* vi;
ef_event event;
while (ef_eventq_poll(vi, &event, 1) > 0) {
    if (event.type == EF_EVENT_TYPE_RX) {
        char* pkt = ef_packet_rx(vi, event.rx.timestamp);
        process_market_data(pkt); // 直接处理原始报文
    }
}
该方式将网络延迟从数十微秒降低至1~2微秒。

软硬件协同优化

优化层级典型技术延迟收益
应用层对象池、无锁队列减少GC与锁争用
系统层CPU绑核、大页内存避免调度抖动
网络层RDMA、TSN亚微秒级传输
graph LR A[市场数据到达网卡] --> B{用户态驱动捕获} B --> C[无锁队列分发] C --> D[专用线程处理] D --> E[订单指令发出]

第二章:零抖动内存管理的核心机制

2.1 内存池化技术的理论基础与性能优势

内存池化通过集中管理跨节点的物理内存资源,打破传统内存绑定架构的限制。其核心在于将分散的内存整合为统一逻辑池,实现按需动态分配。
内存虚拟化机制
该技术依赖地址映射与远程直接内存访问(RDMA)协议,实现低延迟数据读写。通过页表虚拟化,应用程序可透明访问远端内存,如同本地操作。
性能提升路径
  • 减少内存碎片:预分配固定大小内存块,降低分配开销
  • 提升利用率:跨主机共享空闲内存,避免资源闲置
  • 降低延迟:结合高速网络,访问延迟控制在微秒级

// 简化的内存池分配示例
typedef struct {
    void *buffer;
    size_t block_size;
    int free_count;
    char *free_list;
} mempool_t;

void* mempool_alloc(mempool_t *pool) {
    if (pool->free_count == 0) return NULL;
    void *ptr = pool->free_list;
    pool->free_list += pool->block_size;
    pool->free_count--;
    return ptr;
}
上述代码展示了一个基础内存池的分配逻辑:通过预分配连续内存块并维护空闲链表,避免频繁调用系统malloc,显著提升分配效率。block_size决定内存粒度,free_count跟踪可用块数,整体时间复杂度为O(1)。

2.2 对象复用模型在高频交易中的实践应用

在高频交易系统中,对象复用模型通过减少频繁的内存分配与垃圾回收,显著降低延迟。对象池技术被广泛应用于订单、行情消息等短生命周期对象的管理。
核心实现机制
采用对象池预创建可重用实例,请求到来时直接获取而非新建。以下为基于Go语言的对象池示例:
type Order struct {
    ID     string
    Price  float64
    Volume int
}

var orderPool = sync.Pool{
    New: func() interface{} {
        return &Order{}
    },
}

func GetOrder() *Order {
    return orderPool.Get().(*Order)
}

func PutOrder(o *Order) {
    o.ID = ""
    o.Price = 0
    o.Volume = 0
    orderPool.Put(o)
}
上述代码中,sync.Pool 管理临时对象生命周期。每次获取时优先从池中取用空闲对象,使用后清空状态并归还,避免重复GC开销。
性能对比
模式平均延迟(μs)GC暂停次数/秒
新建对象15.28
对象复用3.71

2.3 基于栈分配的临时对象消除策略

在高性能编程中,减少堆内存分配是优化关键路径的重要手段。编译器通过逃逸分析识别未逃逸出函数作用域的对象,将其从堆分配转为栈分配,从而避免垃圾回收开销。
栈分配的优势
  • 分配速度快:栈空间连续,无需锁竞争
  • 自动回收:随函数调用结束自然释放
  • 缓存友好:局部性原理提升访问效率
代码示例与分析

func createPoint() Point {
    p := Point{X: 1.0, Y: 2.0} // 栈分配
    return p
}
该函数中 p 作为返回值被内联复制,未发生逃逸,编译器可安全地在栈上分配其内存。通过 -gcflags "-m" 可验证逃逸分析结果。
性能对比
策略分配位置GC压力
堆分配heap高
栈分配stack无

2.4 无锁内存分配器的设计与实测调优

在高并发场景下,传统基于互斥锁的内存分配器易成为性能瓶颈。无锁内存分配器通过原子操作和内存池技术,实现线程间无阻塞的内存申请与释放。
核心设计思路
采用固定大小内存块池化管理,每个线程持有本地缓存(Thread-Cache),减少共享资源竞争。全局自由链表使用 __sync_fetch_and_add 等原子指令维护。
typedef struct {
    void* free_list;
    char* memory_pool;
} lock_free_allocator_t;

bool alloc_block(lock_free_allocator_t* alloc, void** result) {
    void* head = __sync_fetch_and_add(&alloc->free_list, sizeof(void*));
    if (head) *result = head;
    return head != NULL;
}
上述代码通过原子加法从自由链表弹出节点,避免锁开销。free_list 指向当前可用内存块,每次分配移动指针并更新原值。
性能调优策略
  • 调整内存块大小以匹配典型对象尺寸,降低内部碎片
  • 引入批量回收机制,减少原子操作频率
  • 使用内存对齐避免伪共享(False Sharing)
实测表明,在16线程压测下,吞吐量提升达3.8倍,P99延迟下降至原有方案的22%。

2.5 防止内存碎片的动态调度算法

在长时间运行的系统中,频繁的内存分配与释放易导致内存碎片,降低资源利用率。动态调度算法通过智能管理内存块的分配策略,有效缓解这一问题。
伙伴分配算法原理
伙伴系统将内存划分为大小为 2^n 的块,合并时仅当两块互为“伙伴”才可合并,减少外部碎片。

// 简化版伙伴分配逻辑
void* buddy_alloc(size_t size) {
    int order = get_order(size);
    for (int i = order; i < MAX_ORDER; i++) {
        if (!list_empty(&buddy_lists[i])) {
            split_block(&buddy_lists[i], order);
            return remove_block(&buddy_lists[order]);
        }
    }
    return NULL;
}
该函数从合适尺寸链表中分配内存,若无可用块则向上查找并分割更大块。get_order 计算所需阶数,split_block 负责递归分割。
性能对比
算法碎片率分配速度
首次适应高中
最佳适应中慢
伙伴系统低快

第三章:用户态协议栈的极致优化

3.1 绕过内核网络栈的延迟压缩原理

为降低数据传输延迟,现代高性能网络系统采用绕过内核网络栈的技术,将数据包处理从内核空间转移至用户空间,显著减少上下文切换和内存拷贝开销。
用户态网络协议栈机制
通过 DPDK、RDMA 或 XDP 等技术,应用程序可直接访问网卡硬件,实现零拷贝数据收发。以 DPDK 为例,其核心是轮询模式驱动(PMD),避免中断带来的延迟波动。

// DPDK 初始化示例
rte_eal_init(argc, argv);
struct rte_mempool *mbuf_pool = rte_pktmbuf_pool_create("MEMPOOL", 8192, 0, 0, RTE_MBUF_DEFAULT_BUF_SIZE, SOCKET_ID_ANY);
上述代码初始化 EAL 环境并创建 mbuf 内存池,为后续无锁收发包做准备。RTE_MBUF_DEFAULT_BUF_SIZE 通常为 2048 字节,适配以太网帧。
延迟压缩效果对比
技术路径平均延迟(μs)吞吐量(Gbps)
传统内核栈809.4
DPDK 用户态129.8

3.2 DPDK与Solarflare EFVI在行情接收中的部署实战

在高频交易系统中,低延迟行情接收是核心需求。DPDK通过轮询模式驱动绕过内核协议栈,显著降低网络延迟;而Solarflare EFVI(Ethernet Fabric Virtual Interface)则利用硬件卸载技术,直接在用户态访问网卡,进一步压缩处理时延。
环境准备与驱动加载
部署前需确保Solarflare网卡固件支持EFVI,并加载DPDK-compatible PMD驱动:
# 加载Solarflare内核旁路驱动
modprobe sfc_ef10
insmod dpdk-solarflare-pmd.ko
该命令启用EFVI的用户态接口,允许应用直接绑定网卡队列。
性能对比
方案平均延迟(μs)抖动(μs)
传统Socket8515
DPDK123
EFVI61
EFVI在延迟和稳定性上均表现最优,适合纳秒级响应场景。

3.3 用户态TCP/IP协议栈的可靠性保障方案

用户态协议栈在绕过内核网络堆栈的同时,必须独立实现传统由内核保障的可靠性机制。核心挑战包括连接状态管理、超时重传、拥塞控制以及数据包排序。
连接状态与序列号管理
每个TCP连接需维护发送/接收窗口、序列号空间和ACK确认状态。通过滑动窗口机制确保数据有序交付。
超时与重传机制
采用RTT动态估算算法(如Jacobson/Karels算法)计算RTO,并结合快速重传策略提升响应效率。
// 简化的RTO计算示例
func updateRTO(sampleRtt time.Duration) {
    srtt = 0.875*srtt + 0.125*sampleRtt
    rto = time.Duration(srtt * 1.5)
}
该代码片段展示了平滑RTT(SRTT)与重传超时(RTO)的更新逻辑,确保在网络波动时仍能维持稳定传输。
  • 序列号校验防止乱序丢包
  • 选择性确认(SACK)提升恢复效率
  • 定时器驱动的重传控制

第四章:CPU亲和性与确定性执行

4.1 核心隔离与线程绑定对抖动的抑制作用

在实时系统中,CPU抖动主要源于上下文切换和资源竞争。通过核心隔离(CPU isolation),可将特定核心从操作系统调度器的通用调度队列中剥离,专用于运行关键任务。
核心隔离配置示例
isolcpus=2,3 nohz_full=2,3 rcu_nocbs=2,3
该内核启动参数将CPU 2和3从通用调度中隔离,减少定时器中断和RCU唤醒,降低非预期延迟。
线程绑定实现
使用sched_setaffinity将实时线程绑定至隔离核心:
cpu_set_t cpuset;
CPU_ZERO(&cpuset);
CPU_SET(2, &cpuset);
sched_setaffinity(tid, sizeof(cpuset), &cpuset);
此调用确保线程仅在CPU 2上执行,避免跨核迁移带来的缓存失效和调度延迟。
配置项抖动均值(μs)最大延迟(μs)
无隔离851200
核心隔离+绑定1289

4.2 确定性调度器在交易撮合引擎中的实现

在高频交易系统中,确定性调度器是确保订单处理顺序一致性和可预测性的核心组件。通过固定时间片轮询与事件优先级队列结合的方式,调度器能够精确控制消息的处理时序。
调度策略设计
采用基于时间槽的事件驱动模型,所有订单请求按到达时间归入微秒级时间窗口,同一窗口内按价格优先、时间优先原则排序。
// TimeSlotScheduler 处理指定时间片内的订单
func (s *TimeSlotScheduler) Process(slot TimeSlot) {
    sortOrders(slot, PriceTimePriority) // 按价格和时间排序
    for _, order := range slot.Orders {
        s.matchEngine.Execute(order)
    }
}
上述代码确保在每个时间片内执行逻辑完全一致,消除并发不确定性。PriceTimePriority 排序规则保证相同条件下的订单匹配结果可复现。
性能对比
调度器类型延迟(μs)吞吐量(万笔/秒)确定性
事件驱动8012弱
确定性调度6518强

4.3 NUMA感知的内存访问优化技巧

在多处理器系统中,NUMA(非统一内存访问)架构使得CPU对本地内存的访问速度远快于远程内存。为提升性能,应用程序应尽量在本地节点分配和访问内存。
内存绑定与线程亲和性设置
通过将线程绑定到特定CPU核心,并在其所属NUMA节点上分配内存,可显著降低内存延迟。Linux提供`numactl`工具进行控制:
numactl --cpunodebind=0 --membind=0 ./app
该命令将进程绑定至NUMA节点0的CPU与内存,避免跨节点访问。
使用libnuma进行编程优化
开发者可通过libnuma API实现细粒度控制:
numa_run_on_node(0);           // 运行在节点0
numa_set_localalloc();         // 内存分配优先本地
调用`numa_set_localalloc()`确保后续malloc分配来自当前节点内存,减少远程访问概率。
  • 优先使用本地内存节点进行数据分配
  • 结合CPU亲和性,使线程与内存共置
  • 避免频繁跨节点通信,降低延迟开销

4.4 中断屏蔽与周期性噪声的根源消除

在高精度实时系统中,周期性噪声常源于中断处理的不确定性。通过合理配置中断屏蔽机制,可有效隔离关键路径上的干扰源。
中断优先级分组配置
为确保关键任务不被低优先级中断打断,需设置合适的中断抢占优先级:
NVIC_SetPriorityGrouping(4); // 使用4位抢占优先级
NVIC_SetPriority(TIM2_IRQn, 1); // 高优先级定时器中断
NVIC_SetPriority(USART1_IRQn, 5); // 低优先级通信中断
上述代码将中断分为多个抢占层级,高优先级中断可屏蔽低优先级中断的执行,从而避免上下文频繁切换引入的延迟抖动。
噪声源分析与抑制策略
常见周期性噪声来源包括:
  • CPU周期性调度引发的缓存刷新
  • 外设DMA与总线访问冲突
  • 电源管理模块的动态调频行为
通过关闭非必要外设时钟、固定CPU频率及使用内存屏障指令,可显著降低系统级噪声。

第五章:构建端到端亚微秒级交易链路的未来路径

低延迟网络架构设计
实现亚微秒级交易的核心在于消除系统瓶颈。高频交易公司如Jump Trading采用FPGA+定制化NIC方案,在Linux内核旁路中部署DPDK或Solarflare EFVI,将网络延迟压缩至300纳秒以内。关键路径上禁用NUMA迁移并绑定CPU核心:
# 绑定进程到特定CPU核心
taskset -c 3,7 ./trading_engine
echo 1 > /proc/irq/256/smp_affinity_list  # 中断亲和性设置
用户态协议栈优化
传统TCP/IP协议栈引入不可控延迟。基于UDP的专有协议成为主流选择,例如Aeron或Solace的消息总线。以下为Aeron配置示例:
<configuration>
  <media-driver>
    <term-buffer-sparse-file>true</term-buffer-sparse-file>
    <ipc-term-buffer-length>134217728</ipc-term-buffer-length>
  </media-driver>
</configuration>
硬件协同加速策略
技术方案延迟表现适用场景
FPGA时间戳注入<50ns交易所直连
SmartNIC offload<200ns行情分发
  • 使用Intel Tofino芯片实现L2/L3报文快速转发
  • 在Xilinx Alveo U55C上部署订单匹配逻辑
  • 通过P4语言定义数据平面行为
[图示:交易链路时序分解]
行情接收 → FPGA预处理 → 用户态解码 → 策略决策 → 订单生成 → NIC发送
各阶段累计延迟控制在800ns以内
poll&&epoll实现分析(二)——epoll实现 Epoll实现分析——作者:lvyilong316 通过上一章分析,poll运行效率的两个瓶颈已经找出,现在的问题是怎么改进。首先,如果要监听1000个fd,每次poll都要把1000个fd 拷入内核,太不科学了,内核干嘛不自己保存已经拷入的fd呢?答对了,epoll就是自己保存拷入的fd,它的API就已经说明了这一点——不是 epoll_wait的时候才传入fd,而是通过epoll_ctl 阅读详情

相关推荐

【信息科学与工程学】【解决方案体系】第三十篇 在线游戏及游戏云系统模型与方程式01

本表格旨在系统化地描述在线游戏及其云系统所涉及的各类数学模型、算法和定理。以下为前8个核心模型的详细示例,展示了从用户请求建模到资源规划的完整链条。编号规则为D(设计)、P(性能)、R(资源)、C(成本)、A(算法)。编号类别领域模型配方定理/算法/模型/方法名称定理/算法/模型/方法的逐步思考推理过程及每一个步骤的数学方程式和参数选择/参数优化精度/密度/误差/强度底层规律/理论定理典型应用场景和各类特征变量/常量/参数列表及说明数学特征。

weixin_49199313的博客 2302

我读过的最好的epoll讲解--转自”知乎“

作者:蓝形参,Geek 伪技术宅    首先我们来定义流的概念,一个流可以是文件,socket,pipe等等可以进行I/O操作的内核对象。    不管是文件,还是套接字,还是管道,我们都可以把他们看作流。    之后我们来讨论I/O的操作,通过read,我们可以从流中读入数据;通过write,我们可以往流写入数据。现在假定一个情形,我们需要从流中读数据,但是流中还没有数据,(典型的例子为,客户端要...

weixin_34015336的博客 9566

印尼稻米收成与粮食安全数据集2026年

本数据集收录印度尼西亚2026年水稻收成与粮食安全遥测数据,包含10000条稻米农业收成产量与粮食安全监测记录,围绕印尼国家粮食安全体系中的核心作物水稻展开。稻米是印尼逾两亿人口的主粮,其收成波动直接影响国家粮食安全与进口政策,本数据集将种植区域、收成产量、气候与土壤相关遥测指标整合为结构化表格,可支撑粮食产量预测、收成影响因素分析、区域粮食安全评估与农业政策模拟等研究任务。典型应用场景包括:农业时间序列产量预测模型构建、气候因子与水稻收成的关联分析、省份与地区层面的粮食自给率测算、粮食安全风险预警指标设计,也可作为农业经济、粮食政策与数据科学交叉课程的教学素材。数据为2026年最新版,规模约1.2MB、单CSV结构规整,字段命名清晰,适合Python、Pandas、Scikit-learn等主流工具链直接使用,便于开展探索性分析、可视化与机器学习全流程练习。重要说明:本数据为遥测整理数据,分析结论以数据集文档口径为准,农业决策请结合官方统计综合研判。许可:CC0公有领域,可自由使用与二次分发。

Linux性能优化(九)——Kernel Bypass

一、Linux内核协议栈性能瓶颈 在x86体系结构中,接收数据包的传统方式是CPU中断方式,即网卡驱动接收到数据包后通过中断通知CPU处理,然后由CPU拷贝数据并交给内核协议栈。在数据量大时,CPU中断方式会产生大量 CPU中断,导致CPU负载较高。 (1)硬件中断导致的线程、进程切换 硬件中断请求会抢占优先级较低的软件中断,频繁到达的硬件中断和软中断意味着频繁的线程切换,随着而来的就是运行模式切换、上下文切换、线程调度器负载、高速缓存缺失(Cache Missing)、多核缓存共享数据同步.

天山老妖 8082

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx

MCGS的Http协议驱动,支持http协议

硬件配置 参数设置 设备属性 设备命令 通讯状态 附录 #HTTP 1、 设备简介 驱动类型 该驱动为独立设备,直接添加构件即可,不需要挂载到父设备下 通讯协议 采用标准HTTP1.1协议 通讯方式 驱动构件为客户端。 2、 硬件连接 本软件在通讯之前,请保证通讯连接正确。通讯连接方式:采用标准的RJ45接口的以太网接线(对调网线或使用HUB交换)。 3、 设备通讯参数 本设备为独立设备,无父设备参数 4、 设备构件参数设置 “HTTP设备”参数设置如下: <1> 内部属性: 构建url信息。 <2> 最小采集周期:本软件对设备进行操作的时间周期,单位为ms,默认为100ms。 <3> 通讯等待时间:通讯数据接收等待时间,默认设置为200ms,当采集速度要求较高或数据量较大时,设置值可适当减小或增大。 <4> HttpHead:http head添加需要的字段,不需要添加http head时值为空,默认不添加。 5、 设备命令 本设备构件提供设备命令,用于进行相应的操作,设备命令的格式如下: 设备命令 命令介绍 GetHttpHead 格式1 GetHttpHead(headStr) 用途 获取http head参数 参数 headStr 参数可以为字符型变量、字符串常量 例1 !SetDevice(设备0,6,"GetHttpHead(headStr)") 获取http head数据保存到headStr中 SetHttpHead 格式1 SetHttpHead(headStr) 用途 设置http head参数 参数 headStr 参数可以为字符型变量、字符串常量

Linux event poll

Linux event poll 首先使用一个东西之前至少要了解为什么要使用它,为什么需要poll这个操作,通常网络部分需要监听多个套接字,又要处理套接字,而在监听的过程中程序已经阻塞就不能去执行其他程序,所以需要引入IO复用 struct epoll_event数据结构 The struct epoll_event is defined as: typedef union epoll_data { void *ptr; int fd; uint32_t u32;

南大侠的博客 961

windows系统下,如何为comfyui如何安装triton

​ 有些加速插件、模型在安装的时候,比如说sageattention的安装,就需要提前安装triton这个包,不过这个包有点特殊,windows下略微不好装,经常会装失败。 🎠如何安装 之前也有人介绍过,要到github上找个wheel文件,找到对应的版本安装下就好了。 问题是:https://github.com/woct0rdho/triton-windows/releases 这个git地址上,已经找不到wheel文件了... ​

聚梦小课堂 4518

低延迟文章引用

Linux获取纳秒时间戳的正确方式 - 知乎Linux低延迟服务器系统调优 - 知乎使用solarflare网卡降低网络IO延迟 - 知乎

yizhiniu_xuyw的专栏 557

AMCL代码详解(六)amcl中的重采样

每次都从w1左边的竖线开始转,显而易见,转到w1的概率为0-w1之间的随机数,转到w2的概率为w1到w1+w2之间的随机数,转到w3的概率为w1+w2到w1+w2+w3之间的随机数,后面的依次类推。当某个粒子的权值较大的时候,产生的随机数落在相应区间的概率就会增大,从而实现了对权值大粒子的多次复制,权值小的粒子的剔除。可以看出,在整个重采样的过程中,粒子进行了两次种情况的刷新,一种是随机生成的新的粒子,一种是对原来的粒子的复制。得到的值越大,说明粒子的权重越小,当前粒子的可信度比较小,需要重采样粒子。

YiYeZhiNian的博客 1580

微波无源器件 功分器1 新型方波导双模无功功分器

本名证明了一种基于有着特定功能的(dedicated)T性匹配元件(散射件)的进化结点的新型波导双模两路功分器的可行性。这个散射件,有着面向三个部分的匹配部分,提供了等效功分并且朝着对应的输出端口传输矩形波导的两个TE10/TE01正交模式。所提出的设计紧凑,易于比例变化并且能够级联来获得。

qq_45245770的博客 1394

机器学习模型上线后如何保障金融级稳定性与可靠性

机器学习模型部署不是开发终点,而是系统性工程挑战的起点。在金融等强监管、高实时性场景中,模型的‘正确性’必须让位于‘可靠性’——这涉及特征服务延迟控制、跨系统契约化集成、熔断降级机制设计、P99.9级性能保障及数据漂移业务语义化归因。真正的生产就绪(Production-Ready)要求模型具备可监控、可降级、可解释、可审计、可追溯的全生命周期韧性。本文基于6家金融机构23个真实落地案例,聚焦模型在真实流量、数据老化、依赖失效、黑产对抗与合规审查等极端条件下的动态稳态构建,揭示从Notebook到银行核心系

weixin_34337381的博客 444

LaTeX公式转Word竟这么简单?Python三行代码实现学术论文格式无忧

本文介绍如何利用Python的latex2word库,仅需三行代码即可将LaTeX数学公式精准转换为Word原生Office Math对象,解决学术写作中LaTeX与Word格式割裂的难题。该方法支持批量处理、格式保真,并能与Markdown、Jupyter Notebook等工具集成,构建自动化写作流程,实现学术论文格式无忧。

qsc90123456的博客 298

Qwen3.5-27B实测:24K上下文稳定性与INT4量化鲁棒性深度解析

大语言模型的上下文长度与量化精度是影响中文长文本生成质量与部署可行性的两大核心指标。Qwen3.5-27B作为面向中文场景优化的270亿参数模型,其标称32K上下文在实际应用中存在RoPE插值导致的语义漂移现象,实测证实24K为业务可用上限;同时,INT4量化并非单纯显存优化手段,不同方案(Marlin/GPTQ/AWQ)对SwiGLU架构的适配差异显著,直接影响法律、金融等高容错场景的关键要件召回率。本文基于多硬件平台(RTX 4090/A100/EPYC)的17轮压力测试,揭示推理延迟、显存占用与生成稳

weixin_34357928的博客 1243

昇腾910B多卡环境下hccl-test性能调优实战

本文详细介绍了昇腾910B多卡环境下hccl-test性能调优的实战经验,包括环境搭建、CANN工具链配置、性能测试与高级调优技巧。通过优化缓冲区、PCIe拓扑和中断亲和性设置,显著提升多卡通信效率,为AI训练提供稳定高效的计算支持。

weixin_29216049的博客 858

SAP 物料的分割评估

SAP 物料的分割评估 前言 本文主要讲解SAP中物料的分割评估,通过分割评估来区分出同一物料不同来源下的核算方式。例如:同一物料分为自产或者采购,或者同一物料分为进口或者国内采购等。 一、概述 分割评估一般用于以下场景: 1、物料分为内部采购和外部采购; 2、物料分属于进口或者国内采购; 3、物料分属于不同的批次; 4、物料分为自制或者采购。 由于物料的来源不同可能导致物料的价格或者性质不同,需要用不同价格来区分出 二、配置步骤 1.激活分割评估 ...

五谷散熊 6794

Python与Java技术选型实战指南:从设计哲学到生产落地

编程语言选型本质是工程约束下的理性决策,而非语法优劣之争。Python以动态类型、解释执行和丰富胶水生态著称,擅长快速原型、数据科学与自动化脚本;Java依托JVM平台、强类型系统与成熟企业级框架,保障高并发、长周期、多团队协作系统的稳定性与可维护性。二者差异根植于运行机制(解释器vsJIT)、类型模型(鸭子类型vs契约先行)与生态定位(轻量敏捷vs稳健可控)。在微服务架构、AI中台、金融核心等真实场景中,技术价值体现在开发效率、运行时确定性、运维可观测性及团队适配成本。本文基于2020年典型工程切片,解析

weixin_33700350的博客 315

playwright-mcp 安装使用的详细教程

Playwright MCP 快速入门指南 Playwright MCP Server 是由微软开发的浏览器自动化服务,通过 MCP 协议为 AI/Agent/LLM 提供网页交互能力。它基于可访问性树而非屏幕截图,支持多种浏览器和运行模式。 安装要求: Node.js v18+ 命令行操作能力 支持 MCP 的客户端 安装方式: 通过 npx 快速启动:npx @playwright/mcp@latest 项目依赖安装:npm install @playwright/mcp 主要特性: 支持 Chrome

上善若水 8028

十年存储自研路:玄同架构核心设计与落地实践

存储系统是数据基础设施的基石,随着业务规模增长,通用开源方案在极端IOPS、延迟抖动、跨地域一致性等场景下顾此失彼。分布式存储架构的核心在于对数据路径、元数据管理和一致性协议的深度掌控,而自研则是获得这种掌控力的关键路径。文章从分布式存储的基本原理出发,剖析了控制面、数据面、管理面三层解耦的玄同架构设计,介绍了多级缓存、三副本与纠删码切换、故障域规划等关键机制,并结合真实案例复盘了慢节点拖垮延迟、纠删码恢复CPU过载等问题。这些实践表明,存储自研需要长期主义心态,核心自研与生态兼容并重,方能实现高可靠、高性

weixin_34392435的博客 237

第六节 LLaVA模型数据处理源码解读(input_ids/labels/attention_mask/image,上篇)

本篇文章直接介绍llava模型数据加工部分,整体结构说明llava多模态模型输入数据格式,其中包含input_ids/labels/attention_mask与image格式,并给出对应代码位置与整个数据加工流程。最重要,通过debug给出数据解释与代码解读,也通过一个真实数据给出模型输入格式说明。当你阅读完此篇文章,绝对透彻理解llava数据加工过程与内容。显然,一篇博客是无法呈现整个数据细节,我将继续下篇博客呈现数据细节处理。result = input.ne(3) # torch.ne函数调用。

weixin_38252409的博客 3198

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

I/O 多路复用之 Event Poll

概述 由于 poll() 和 select() 的局限,Linux 2.6内核引入了 event poll(epoll) 机制。虽然 epoll 的实现比 poll() 和 select() 要复杂得多,epoll 解决了前两个存在的基本性能问题,并增加了一些新的特性。 对于poll() 和 select(),每次调用时都需要所有被监听的文件描述符列表。内核必须遍历所有被监视的文件描述符。当这个文件描述符列表变得很大时——包含几百个甚至几千个文件描述符时——每次调用都要遍历列表就变成了规模上的瓶颈.

希哈科技 647

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Event Poll epoll 详解

由于poll()和select()的局限,2.6内核引入了event poll(epoll)机制。虽然稍微复杂,但是epoll解决了它们共有的基本性能问题,并增加了一些新的特性。 poll()和select()每次调用都需要所有被监听的文件描述符。内核必须遍历所有被监视的文件描述符。当这个表变得很大时,成千上百的文件描述符,每次调用时的遍历就成为了明显的瓶颈。 1、创建一个新的epoll实例 使用epoll_create()或者epoll_cerate1()创建一个epoll上下文。这里epoll_c

希哈科技 1130

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Solarflare网卡降低网络IO延迟

solarflare的拳头产品是它的高性能网卡。如果只把它当成一块支持10G/25G网络的普通网卡来用是暴殄天物了,这里说的当成普通网卡指的是不使用它的软件方案,而是使用Linux内核实现网络编程,这样的话它并不会比普通网卡快多少。 solarflare网卡提供了配套的kernel bypass软件解决方案:Onload, ef_vi和Tcpdirect(关于这三个stack的用法这里就不细说了,官方文档说的很详细)。首先我们关心的是它们的性能怎么样?下图是官方文档中的一个测试结果: 测试使用两台直接连接

yuwei1119的博客 6832

Linux2.6.9内核源码分析--eventpoll

Linux2.6.9内核源码分析–eventpoll eventpoll epoll分为三个系统调用: long sys_epoll_create(int size); long sys_epoll_ctl(int epfd, int op, int fd, struct epoll_event __user *event); long sys_epoll_wait(int epfd, struc...

猿来如此yXy 1510

【Linux学习】epoll详解

什么是epoll epoll是什么?按照man手册的说法:是为处理大批量句柄而作了改进的poll。当然,这不是2.6内核才有的,它是在2.5.44内核中被引进的(epoll(4) is a new API introduced in Linux kernel 2.5.44),它几乎具备了之前所说的一切优点,被公认为Linux2.6下性能最好的多路I/O就绪通知方法。 epoll的相关系...

844604778 2277
上一篇: 全球TOP 3智慧城市都在用的信号优化算法(国内首次深度拆解)
下一篇: 揭秘虚拟人实时动作捕捉技术:如何用Python实现毫秒级响应
InstrFun
博客等级 码龄1年 142粉丝 1990原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值