自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(14)
  • 资源 (1)
  • 收藏
  • 关注

原创 N-gram 语言模型

N-gram 语言模型

2026-09-11 15:03:54 306

原创 《DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation》研读报告

DSpark:基于置信度调度的半自回归推测解码方法, DSpark框架通过半自回归生成与置信度调度验证解决大语言模型推理延迟问题。传统推测解码在多模态场景下存在草稿质量低和验证资源浪费的痛点。DSpark的创新在于:(1)采用并行骨干网络+轻量级序列头的半自回归架构,平衡生成速度与token间依赖;(2)设计置信度预测模块和硬件感知调度器,动态调整验证长度。实验显示,在Qwen3和Gemma4等模型上,DSpark比Eagle3和DFlash基线提升接受长度16%-31%

2026-06-27 17:31:07 751

原创 Slow-Fast Inference 研读报告

本研究的核心创新在于发现了 **“句内支持稳定性”**,即模型在生成一个句子或短语义片段时,其注意力焦点通常保持稳定,仅在语义边界(如句号)处发生显著转移。基于此,论文提出了 **Slow-Fast Inference (SFI)** 框架,这是一种免训练、事件驱动的解码加速范式。

2026-04-16 21:41:08 479

原创 Attention_Residuals 研读报告

你的困惑源于认为“只有 Query 变了才是动态的”。但在注意力机制中,动态性来源于 Query 和 Key 的交互。wlw_lwl​(Query):固定的“探测器”,定义了这一层想找什么样的信息。kik_iki​(Key):动态的“信号”,反映了当前输入下各层实际包含了什么信息。所以,AttnRes 确实实现了内容感知的深度聚合,每一层都能根据当前输入的具体情况,从历史层中挑选出最符合自己“口味”的信息。所以,让 Query 依赖输入。

2026-03-17 11:29:44 702

原创 GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization 论文研读

你的直觉非常敏锐。GRPO就像一个只看“总分排名”的老师。只要排名一样(或者相对差距一样),不管你是偏科还是全面发展,他都给你一样的评价。GDPO就像一个“分科排名再汇总”的老师。他能看清你在数学上进步了多少,在英语上进步了多少,最后给你一个更精准的综合评价。希望这个数值例子能帮你彻底搞懂“奖励坍缩”的机制!如果还有疑问,欢迎继续提问。你提到 GDPO 通过“解耦归一化”保留了每个奖励维度的信号,那如果两个奖励之间存在强负相关。

2026-02-28 14:22:06 649

原创 DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference 论文研读

DualPath:打破智能体LLM推理中的存储带宽瓶颈

2026-02-27 11:44:25 525

原创 TiMem: Temporal-Hierarchical Memory Consolidation for Long-Horizon Conversational Agents研读报告

你的担忧在传统的“先批处理再服务”架构中是成立的,但在 TiMem 中,“记忆巩固”和“记忆检索”是解耦的即时性由L1L_1L1​的在线巩固保证,确保“刚才说的细节”已经被记录在案。深刻性由L2L_2L2​L5L_5L5​的异步巩固保证,用于处理长期、复杂的推理。所以,用户完全不用担心“记忆断层”,系统永远会优先保证最原始、最细节的信息(L1L_1L1​)是可用的。希望这个解释能解开你的疑惑!那个“图书馆新书台”的比喻非常形象,让我明白了L1L_1L1​。

2026-02-27 10:07:15 839

原创 学术论文小助手-SourceMind

摘要: SourceMind是一款基于LangGraph和Streamlit的智能学术论文分析工具,支持从PDF或Arxiv链接提取信息并生成结构化报告。核心功能包括智能翻译、关键要点提取、实验结果分析、术语解释、相关研究搜索(含GitHub代码搜索),以及创新的圆桌讨论模式(多智能体学术辩论)。系统支持多模型配置(OpenAI/Anthropic等)、视觉解析PDF内容,并集成Langfuse/LangSmith实现全链路追踪。

2026-02-25 19:34:56 624

原创 LIGHTRETRIEVER:一种具有极快查询推理速度的基于LLM的文本检索架构

本文介绍了一个名为LightRetriever的创新性论文检索工具,通过非对称混合架构解决了LLM检索系统的效率瓶颈问题。该工具在保持95%检索精度的同时,实现了2500倍的查询加速,将端到端吞吐量提升10倍以上。其核心创新在于"训练时全量建模,推理时查表"的设计,通过强制查询Token独立编码,将在线查询编码复杂度降至仅相当于一次嵌入查找。实验证明,这种非对称资源分配策略在BeIR基准测试中取得了优异表现,为LLM检索系统的工业部署提供了重要参考。

2026-02-25 19:32:42 747

原创 gpt-oss 报告解读

摘要:OpenAI发布两款开源推理模型gpt-oss-120b和gpt-oss-20b,基于Apache 2.0许可证,采用混合专家架构(MoE),支持128k上下文长度和工具调用功能。120b模型参数116.8B,20b模型20.9B,均经过MXFP4量化优化实现高效部署。训练数据聚焦STEM和编程领域,后训练强化了推理和工具使用能力。性能评估显示120b接近o4-mini水平,在数学、健康和多语言任务表现突出。安全评估表明其风险可控,未显著推进生物安全等高风险领域能力前沿,为开源社区提供了高性能基础模型

2025-08-06 14:16:11 1392

原创 Group Sequence Policy Optimization

GSPO算法,解决强化学习训练语言模型时的稳定性问题。相比GRPO的token级优化,GSPO采用序列级重要性采样,通过序列似然比定义、长度归一化等技术降低方差。实验显示GSPO在MoE模型训练中保持稳定,无需复杂策略即可收敛,在代码生成和数学推理任务中表现优异。该算法简化了RL基础设施,已成功应用于Qwen3系列模型,为大规模RL训练提供稳健基础。未来将优化长序列任务并解耦训练-推理架构。

2025-07-25 18:09:21 716

原创 通信原语学习记录

集合通信,作为并行计算中的核心概念,指的是在一组进程之间进行的协调通信模式,确保所有参与者都能高效地交换信息。这一领域的基石包括基本的通信动作,如数据的发送(Send)、接收(Receive)、数据的复制(Copy),以及关键的同步机制,如进程栅栏(Barrier)等。

2024-07-13 19:53:30 4019 1

原创 IDEA中maven项目右侧不显示maven的解决方法

IDEA打开maven项目右侧不显示maven解决方法

2022-06-08 00:09:20 1551

原创 STK11.2 计算卫星A关于卫星B的相对位置 (三维和二维)

STK11.2 输出卫星A关于卫星B的相对位置一、创建卫星A、B1.创建场景2.插入卫星A、B二、以卫星B为中心建立VVLH坐标系三、创建B指向A的矢量四、创建新的报告格式五、生成Report一、创建卫星A、B1.创建场景打开STK,点击Creat New Scenario,设置场景时间,点击OK。2.插入卫星A、B点击Insert,选择Satellite,选择From TLE File,选择卫星A的TLE文件,点击打开。点击Time Period设置卫星period时间,点击OK,点击Inse

2021-06-30 21:28:21 8401 10

STK中文学习资料.rar

STK覆盖模块教材.pdf STK链路模块教材.pdf STK培训教材.pdf STK培训教材.ppt STK通信模块教材.pdf STK与C_的集成开发研究.pdf

2021-07-01

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除