<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[supervlc的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/supervlc</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; supervlc]]></copyright><item><title><![CDATA[Linear Attention之DeltaNet]]></title><link>https://blog.youkuaiyun.com/supervlc/article/details/152135413</link><guid>https://blog.youkuaiyun.com/supervlc/article/details/152135413</guid><author>supervlc</author><pubDate>Fri, 26 Sep 2025 21:17:04 +0800</pubDate><description><![CDATA[DeltaNet采用Delta Rule机制更新hidden state，通过检索就内存得到旧值向量，并与当前值向量组合形成新值向量，实现对St状态的更新计算。该研究在Linear Attention框架下提出创新性改进，为学习参考提供新思路（禁止商用盗用，需注明出处）。]]></description><category></category></item><item><title><![CDATA[Linear Attention之Mamba]]></title><link>https://blog.youkuaiyun.com/supervlc/article/details/151612749</link><guid>https://blog.youkuaiyun.com/supervlc/article/details/151612749</guid><author>supervlc</author><pubDate>Fri, 12 Sep 2025 10:56:15 +0800</pubDate><description><![CDATA[本文介绍了与LinearAttention高度相似的Mamba模型，其基于状态空间模型(SSM)实现线性复杂度。文章仅供学习参考，禁止商用盗用，并需注明出处。]]></description><category></category></item><item><title><![CDATA[Linear Attention之GLA]]></title><link>https://blog.youkuaiyun.com/supervlc/article/details/151369021</link><guid>https://blog.youkuaiyun.com/supervlc/article/details/151369021</guid><author>supervlc</author><pubDate>Wed, 10 Sep 2025 11:33:42 +0800</pubDate><description><![CDATA[文章接续上章关于线性注意力的介绍，主要分享Gated Linear Attention（GLA）的工作原理。本文仅供学习参考，禁止商用盗用。]]></description><category></category></item><item><title><![CDATA[Linear Attention续集]]></title><link>https://blog.youkuaiyun.com/supervlc/article/details/151329754</link><guid>https://blog.youkuaiyun.com/supervlc/article/details/151329754</guid><author>supervlc</author><pubDate>Mon, 08 Sep 2025 18:59:53 +0800</pubDate><description><![CDATA[本文介绍了LinearAttention训练中的Memory-efficient和Hardware-efficient方法，文章仅供学习参考，禁止商用盗用，转载注明出处。]]></description><category></category></item><item><title><![CDATA[Linear Attention]]></title><link>https://blog.youkuaiyun.com/supervlc/article/details/151224474</link><guid>https://blog.youkuaiyun.com/supervlc/article/details/151224474</guid><author>supervlc</author><pubDate>Fri, 05 Sep 2025 15:31:20 +0800</pubDate><description><![CDATA[本文介绍了线性注意力（LinearAttention）与传统Softmax注意力的差异，作为背景知识分享。文章仅供学习参考，禁止商用盗用并需注明出处。]]></description><category></category></item><item><title><![CDATA[RoPE长文本外推YaRN]]></title><link>https://blog.youkuaiyun.com/supervlc/article/details/150961399</link><guid>https://blog.youkuaiyun.com/supervlc/article/details/150961399</guid><author>supervlc</author><pubDate>Thu, 28 Aug 2025 20:14:22 +0800</pubDate><description><![CDATA[本文介绍RoPE位置编码的外推方法YaRN发展历程，包括RoPE、PI、NTK-awareRoPE、NTK-by-parts RoPE等技术演进，阐述了高频外推与低频插值思想的推进过程。文章仅供学习参考，禁止商用，需注明出处。]]></description><category></category></item><item><title><![CDATA[傅里叶位置编码FoPE]]></title><link>https://blog.youkuaiyun.com/supervlc/article/details/150924421</link><guid>https://blog.youkuaiyun.com/supervlc/article/details/150924421</guid><author>supervlc</author><pubDate>Wed, 27 Aug 2025 13:59:06 +0800</pubDate><description><![CDATA[本文介绍了一种傅里叶位置编码方法FoPE，基于对RoPE的频谱分析发现问题：线性层和激活函数分别造成频谱泄露和失真，时域截断导致频率扩散，这些频谱损伤影响了RoPE的周期性扩展能力。针对这些问题，论文作者提出用傅里叶级数进行多频率建模，并对训练不足的低频分量置零处理时域截断问题，最终形成了FoPE方法。（仅供学习参考，禁止商用盗用）]]></description><category></category></item><item><title><![CDATA[RoPE续集]]></title><link>https://blog.youkuaiyun.com/supervlc/article/details/150606985</link><guid>https://blog.youkuaiyun.com/supervlc/article/details/150606985</guid><author>supervlc</author><pubDate>Fri, 22 Aug 2025 16:31:50 +0800</pubDate><description><![CDATA[本文在《大模型学习记录2——RoPE》基础上，将RoPE位置编码推广至3D形式并提出新思考方向（待验证），同时探讨多模态大模型中的位置编码技术。文章仅供学习参考，禁止商用盗用，引用需注明出处。]]></description><category></category></item><item><title><![CDATA[旋转位置编码RoPE]]></title><link>https://blog.youkuaiyun.com/supervlc/article/details/150576022</link><guid>https://blog.youkuaiyun.com/supervlc/article/details/150576022</guid><author>supervlc</author><pubDate>Thu, 21 Aug 2025 10:16:50 +0800</pubDate><description><![CDATA[本文在《大模型学习记录1》基础上，重点探讨Transformer中的位置编码机制，参考苏剑林老师的博客内容。文章仅供学习使用，禁止商用盗用，并需注明出处。]]></description><category></category></item><item><title><![CDATA[Transformer]]></title><link>https://blog.youkuaiyun.com/supervlc/article/details/150560634</link><guid>https://blog.youkuaiyun.com/supervlc/article/details/150560634</guid><author>supervlc</author><pubDate>Wed, 20 Aug 2025 19:15:28 +0800</pubDate><description><![CDATA[本文解析经典论文《Attention Is All You Need》中的Transformer架构，介绍其核心模块原理与功能。作为大模型基础，Transformer通过自注意力机制实现高效特征提取。文章仅供学习参考，禁止商用，需注明出处。]]></description><category></category></item></channel></rss>