【机器学习】长上下文窗口扩展 第二章 计算效率优化与系统架构设计

目录

第二章 计算效率优化与系统架构设计

2.1 注意力机制的二次复杂度破解

2.1.1 块wise记忆高效注意力:FlashAttention的IO感知融合与重计算策略

2.1.2 Ring Attention的序列并行范式:环形拓扑中的KV块级联传递与计算-通信重叠

2.1.3 序列并行与张量并行的协同:DeepSpeed-Ulysses的All-to-All通信优化与2D并行策略

2.2 状态空间模型(SSM)的线性复杂度替代

2.2.1 从S4到Mamba的演进:结构化状态空间模型的离散化与稳定性保证

2.2.2 选择性状态空间机制:输入依赖的参数化与硬件感知并行扫描

2.2.3 Mamba-2的状态空间对偶性(SSD):矩阵乘法视角下的训练效率提升

2.2.4 混合架构设计:Mamba-3的复数状态更新与MIMO推理优化

2.3 KV缓存压缩与上下文记忆管理

2.3.1 注意力汇点(Attention Sink)现象:初始Token的锚定效应与StreamingLLM的滑动窗口策略

2.3.2 H2O(Heavy-Hitter Oracle)动态淘汰算法

2.3.3 量化压缩技术:per-channel INT8/INT4量化与误差控制

2.3.4 分页注意力(PagedAttention):非连续块分配与Prefix缓存的内存碎片消除

2.4 稀疏注意力模式与结构化近似

2.4.1 局部-全局混合模式:Longformer的滑动窗口与全局Token设计

2.4.2 随机-窗口-全局三要素:BigBird的 O(n) 复杂度与通用近似能力证明

2.4.3 块稀疏与轴向注意力:二维分解策略在视觉-语言任务中的应用

2.4.4 动态稀疏性:基于内容的Token剪枝与Query感知的KV页选择(Quest)

2.5 长上下文推理的系统工程实践

2.5.1 激活重计算与内存优化:梯度检查点(Gradient Checkpointing)的层间策略与选择性重计算

2.5.2 异构计算架构:CPU-GPU混合卸载(Offloading)与NVMe层级存储扩展

2.5.3 多模态长上下文处理:Gemini 1.5 Pro的百万Token视频-音频-文本统一架构

2.5.4 生产部署优化:vLLM与TensorRT-LLM的长序列服务框架,延迟与吞吐的权衡策略


第二章 计算效率优化与系统架构设计

2.1 注意力机制的二次复杂度破解

Transformer架构的自注意力机制在序列长度 T 上具有 O(T2) 的计算复杂度和内存复杂度,这成为制约长上下文建模的根本瓶颈。本节探讨通过算法-硬件协同设计破解这一复杂度的关键技术

人工智能技术白皮书 —— 你的AI入门手册 深入定义状态 (State, S)、动作 (Action, A)、奖励 (Reward, R) 以及状态转移概率 (Transition Probability, P),构建一个完整的决策模型。强化学习是关于“决策”的科学,它让智能体(Agent)在与环境的持续互动中,通过试错和回报,学习一套能获得最大长期利益的最优行为策略。学习它,就是学习如何驱动机器的“想象力”。:一个迷宫地图,智能体(小机器人)在每个交叉口(状态)选择方向(动作),根据路径上的宝藏(奖励)或陷阱,更新自己的寻宝地图(策略)。 阅读详情

相关推荐

「文智助手」全场景办公AI助理AI+OPC全流程实践方案(大赛作品)

「文智助手」全场景办公AI助理AI+OPC全流程实践方案(大赛作品)

jks212454的博客 477

船载 OpenHarmony AIS 航海工作台:告警与防碰撞预警系统

船载OpenHarmony AIS航海工作台的告警与防碰撞系统,集成十余类告警(超速、偏航、会遇、SOS等),通过网格空间索引实现高效邻近判定,保障实时性。告警管理器统一调度规则、去重、通知与日志,支持悬浮球、语音、跑马灯、弹窗多渠道触达,确保航行安全。SOS紧急通道独立运行,避免干扰。系统设计强调性能优化与多场景适配,为航海安全提供核心支撑。

专注于计算机研发知识和资讯分享 538

AI 应用开发:四维架构落地实战——以 HR Agent 为例拆解感知·推理·记忆·执行【意图路由、规划编排、长期记忆、工具执行、面试题】

本文基于四维架构(感知·推理·记忆·执行),以HR Agent为例,系统拆解大模型应用从“聊天”到“生产可用”的落地路径。通过Spring AI实现意图路由、规划编排、RAG检索与工具调用,结合真实踩坑复盘,揭示架构化设计对安全、成本与可维护性的关键价值,为AI Agent工程化提供可复用的实战框架。

王大师企业官方博客 1325

【pprof】简要学习教程

基本介绍 pprof 是在做性能优化前的性能分析工具。 安装: go get -u github.com/google/pprof 分析工具 go tool pprof 是命令行指令,用于分析 Profiling 数据,源数据可以是 http 地址,也可以是已经 dump 下当 profile 文件;查看模式可以命令行交互模式,也可以是浏览器模式(-http 参数)。 两种应用 服务型应用 _ "net/http/pprof" 包,专用于采集 web 服务 运行数据的分析。即在运行的服务中通过 API .

码农印象 886

40岁从智驾转具身智能之路

我的工作经历比较复杂,本科毕业后工作2年再次读研的,本科和硕士都是机械专业,硕士毕业后干了5年CAM和机器人再转入到自动驾驶行业。在自动驾驶干了8年,发现自动驾驶已经到了一个瓶颈,再次转行做具身智能。我就谈谈自己的最近这次转型之路。

hzm8341的博客 645

RS485两线制接线实战:从差分信号原理到Modbus避坑指南

本文深入解析RS485两线制接线的核心原理与实战步骤。从差分信号的抗干扰机制出发,详细拆解总线规划、屏蔽层接地、终端电阻安装等关键实操细节,并针对Modbus应用中常见的信号反射、极性接反、共模干扰等问题提供系统化的排查指南与解决方案,助力工程师构建稳定可靠的工业通讯网络。

7up55的博客 736

IQA图像质量评价 数据集介绍(LIVE、TID2013、CSIQ、LIVEC、KonIQ-10K)

LIVE、TID2013、CSIQ、LIVEC、KonIQ-10K 数据集介绍

qq_37925923的博客 1万+

转义序列字符(\0,\n,\r,\t,\v,\a,\f,\b,\\,\‘,\“,\?)详解,转义字符对应的全称,输出结果和对应的ASCII码值详解;

转义序列字符(\0,\n,\r,\t,\v,\a,\f,\b,\\,\',\",\?)详解,转义字符对应的全称,输出结果和对应的ASCII码值详解;

南城花开过的博客 3万+

一生一芯 预学习阶段 NEMU代码学习(2)

如果 nemu_state.state == NEMU_ABORT:说明程序处于 "中止" 状态,输出 "ABORT",并且使用 ANSI_FG_RED 红色格式化显示。如果 halt_ret == 0,表示程序正常终止(触发了 "GOOD TRAP"),输出 "HIT GOOD TRAP",并使用 ANSI_FG_GREEN 绿色显示。如果要执行的指令数量 n 小于预定义的常量 MAX_INST_TO_PRINT,则将 g_print_step 置为 true,表示会逐步打印指令执行的过程。

weixin_45041054的博客 828

别再为通讯发愁了!手把手教你用PCAN-View调试Kinco步科伺服电机的CANopen

本文详细介绍了如何使用PCAN-View工具调试Kinco步科伺服电机的CANopen通讯,从环境搭建到实战演练,涵盖硬件连接、软件配置及故障排除。通过具体案例和代码示例,帮助工程师快速掌握伺服电机通讯控制技术,解决工业设备通讯难题。

weixin_29189377的博客 267

利用dpabi和restplus提取ROI灰质体积学习笔记

目录前言一、数据准备二、利用dpabi提取ROI灰质体积三、restplus提取ROI灰质体积 前言 我利用SPM/CAT12进行灰质、白质、脑脊液分割之后分别已经得到各自的图像文件,在全脑水平已经做了统计分析。如果还想要进一步进行ROI的统计分析或者与量表等临床资料做相关分析,就需要提取ROI灰质体积。几个月没动过这数据了,突然心血来潮想学一下如何提取ROI灰质体积,以此篇博客记录我的提取ROI灰质体积学习过程。提取ROI灰质体积的方法及软件有许多种,本人尝试了dpabi和restplus。 一、数据准备

weixin_52073820的博客 9225

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

上一篇: 【机器学习】长上下文窗口扩展 第一章 位置编码扩展与上下文外推基础
下一篇: 【机器学习】推理时计算优化——思维链(Chain-of-Thought)与慢思考范式 第一章:基础理论与认知框架 第二章:计算优化技术与前沿方法
VectorShift
博客等级 码龄1年 1843粉丝 1109原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

VectorShift

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值