<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Heyxy的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Heyxy</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Heyxy]]></copyright><item><title><![CDATA[CETT: Cumulative Errors of Tail Truncation（尾部截断累积误差）]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/156729814</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/156729814</guid><author>Heyxy</author><pubDate>Fri, 09 Jan 2026 10:51:37 +0800</pubDate><description><![CDATA[1. 神经元贡献 ni​(x) 的计算对于 MLP 层中的第 i 个神经元，其输出贡献定义为：σ：激活函数（如SwiGLU 的门控激活函数（SiLU/Sigmoid））⊙：元素级乘法（哈达玛积）2.完整 MLP 输出 MLP(x) 的计算MLP 层的总输出是所有神经元贡献的线性组合：其中​是 MLP 隐藏层维度。]]></description><category></category></item><item><title><![CDATA[JS 散度（JSD）与 KL 散度（KLD）]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/156690767</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/156690767</guid><author>Heyxy</author><pubDate>Wed, 07 Jan 2026 16:48:29 +0800</pubDate><description><![CDATA[KL 散度衡量 “从概率分布 P 到 Q 的信息损失”，仅适用于两个分布同支撑集（即 P (x)>0 时 Q (x)≠0，否则 KL 为 +∞）。离散分布：连续分布：其中，P、Q 是两个概率分布，X是所有可能的取值集合（离散）或变量取值范围（连续）。JS 散度通过引入平均分布 M解决 KL 的不对称和无穷大问题，定义为：其中，（P 和 Q 的平均分布，确保 M (x)≠0 当且仅当 P (x) 或 Q (x)>0）。]]></description><category></category></item><item><title><![CDATA[RobustMerge—— 无训练的 PEFT 模型融合方法，从低秩分解视角揭示方向鲁棒性对 PEFT 融合的作用]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/156017405</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/156017405</guid><author>Heyxy</author><pubDate>Wed, 17 Dec 2025 15:39:36 +0800</pubDate><description><![CDATA[针对现有模型融合方法难以适配参数高效调优（PEFT，如 LoRA）模型、易出现任务干扰、泛化能力弱的问题，提出无训练的融合方法 RobustMerge，智能聚合多个基于同一主干的 PEFT 参数，在不增加额外模型层、不依赖训练数据和算力的前提下，让融合模型既保留各任务性能，又能泛化至未见过的任务，尤其适配多模态大模型的多任务融合需求。它和 “传统单独的模型融合” 的核心区别 ——。]]></description><category></category></item><item><title><![CDATA[球形线性插值（SLERP）应用于 LLM 模型融合]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/155985005</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/155985005</guid><author>Heyxy</author><pubDate>Tue, 16 Dec 2025 17:37:28 +0800</pubDate><description><![CDATA[最近看到了关于大模型参数融合的论文，一开始不太明白这类工作的应用意义，看完这篇感觉明白了一些这种方法的价值。这篇论文探索了大型语言模型（LLMs）领域适配的微调策略与模型融合方法，证实球形线性插值（SLERP）融合结合持续预训练（CPT）、监督微调（SFT）、偏好优化（ORPO/DPO）能显著提升专业领域性能，且模型规模（7B/8B 参数）是涌现新能力的关键，1.7B 小模型无此协同效果。]]></description><category></category></item><item><title><![CDATA[模型参数融合]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/155984133</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/155984133</guid><author>Heyxy</author><pubDate>Tue, 16 Dec 2025 16:18:40 +0800</pubDate><description><![CDATA[做模型融合是为了突破单一模型局限，通过参数非线性协同解锁新能力；当前模型融合主要用于领域适配、性能提升和跨任务拓展。]]></description><category></category></item><item><title><![CDATA[Aligning machine and human visual representations across abstraction levels 论文整理]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/155571919</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/155571919</guid><author>Heyxy</author><pubDate>Thu, 04 Dec 2025 15:43:26 +0800</pubDate><description><![CDATA[核心损失：KL 散度：衡量学生模型与教师模型对 “三元组相似性分布” 的差异，目标是最小化该差异，即让学生模型的相似性判断逼近教师模型（代理人类）。加入 L2 正则化（||θ† - θ*||²，θ†为微调后参数，θ* 为预训练参数），确保学生模型保留原有预训练的局部特征（如纹理、颜色信息），仅优化全局语义层级。AligNet 属于学生 - 教师网络的变体。]]></description><category></category></item><item><title><![CDATA[Efficient Frequency-Domain Image Deraining with Contrastive Regularization 论文整理]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/154791465</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/154791465</guid><author>Heyxy</author><pubDate>Thu, 13 Nov 2025 16:58:06 +0800</pubDate><description><![CDATA[RCP 是从图像RGB 三通道像素值差异中提取的先验信息，其本质是利用 “退化区域（如雨纹）与背景区域在通道像素波动上的显著差异”，构建一种 “自监督式” 的特征标记 —— 背景区域的 RGB 通道像素值相对平稳（差异小），而退化区域（如雨纹会导致局部像素值剧烈变化）的通道差异显著，这一特性可直接用于定位退化区域、保留背景结构。RCP 先验图是将上述计算的RCP 值转化为灰度图像，作为网络的 “结构辅助输入”，帮助模型聚焦退化区域、保留背景细节。]]></description><category></category></item><item><title><![CDATA[DiT VAE 和 DiT RAE 对比]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/154488406</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/154488406</guid><author>Heyxy</author><pubDate>Mon, 10 Nov 2025 14:48:54 +0800</pubDate><description><![CDATA[（扩散 Transformer）的核心工作方式是在：首先通过自动编码器将高分辨率原始像素图像（如 256×256 RGB 图像）压缩为低维的 latent 向量（如将图像映射为 32×32×4 的 latent）；随后，DiT 不直接接触像素数据，仅在这个低维 latent 空间中工作 —— 训练时学习 “向 latent 注入噪声、预测并去除噪声” 的规律，推理时从随机噪声出发，通过迭代去噪声生成符合真实数据分布的新 latent；]]></description><category></category></item><item><title><![CDATA[METEOR、ROUGE-L、CIDEr 、​​ SPICE指标]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/151958747</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/151958747</guid><author>Heyxy</author><pubDate>Mon, 22 Sep 2025 14:36:22 +0800</pubDate><description><![CDATA[平等对待所有词​​。在图像描述中，“太阳镜”比“的”信息量更大、更重要，应该获得更高权重。即使换光所有同义词，只要描述的对象、属性和关系对了，就能得满分。用词不同但语义相同，BLEU分数会低，但这显然是不合理的。​： 这是METEOR的核心。​，而不是泛泛而谈的“安全牌”。​： 直接比对这些语义元组，计算元组级的F1分数​​​​。​： 将句子解析为表示对象、属性和关系的元组。​，即按顺序出现（但可间隔）的最长单词串。​：跳出词汇层面，直接分析​​语义​​。完全停留在词汇层面，无视语义​​。]]></description><category></category></item><item><title><![CDATA[BLEU (Bilingual Evaluation Understudy)​和n-gram]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/151956635</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/151956635</guid><author>Heyxy</author><pubDate>Mon, 22 Sep 2025 11:22:20 +0800</pubDate><description><![CDATA[低阶n-gram（如1-gram）​​ 确保生成文本​​说了正确的事​​（内容相关）。​​高阶n-gram（如4-gram）​​ 确保生成文本​​用正确的方式说事​​（表达流畅、自然）。​​短句惩罚​​ 确保生成文本​​说了足够多的事​​（内容完整）。缺点：语义盲区​​： 它只进行字面匹配。和的n-gram精度会是0，尽管它们语义高度相似。​​缺乏权重​​： 所有词的重要性被平等对待。"the"和"dog"的贡献一样。]]></description><category></category></item><item><title><![CDATA[Qwen2TokenizerFast]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/151321367</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/151321367</guid><author>Heyxy</author><pubDate>Mon, 08 Sep 2025 14:27:51 +0800</pubDate><description><![CDATA[最近在学习代码的时候用到了tokenizer为Qwen2TokenizerFast的情况，简单整理一下。​​，它的主要工作是​​，而不是直接将文本转换成向量。​​: 特指由 Hugging Face 的tokenizers库（用 Rust 编写）提供的高性能分词器实现。它比用纯 Python 实现的“慢”版本分词器速度要快得多。所以，​​ 是一个专门为 Qwen2 系列模型设计的、高性能的文本分词器。]]></description><category></category></item><item><title><![CDATA[Mol-LLaMA: Towards General Understanding ofMolecules in Large Molecular Language Model 论文阅读]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/150974414</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/150974414</guid><author>Heyxy</author><pubDate>Wed, 03 Sep 2025 15:11:48 +0800</pubDate><description><![CDATA[构建含三种关键数据类型（详细结构描述、结构 - 特征关系解释、综合对话）的284k 条指令数据集（Mol-LLaMA-Instruct）：可作为通用分子分析助手，加速药物发现、减少湿实验成本；为蛋白质、RNA 等其他科学模态提供模型设计参考。分子理解是药物发现、生物化学研究的核心，但分子结构复杂，需跨学科知识，现有工具难以满足通用分析需求。：284k 条有效指令样本，源于 PubChem 324k 数据集训练集。数据集的训练集，随机选取。分子为基础，最终筛选出。（接地特征），并通过。]]></description><category></category></item><item><title><![CDATA[Byte Pair Encoding (BPE)]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/149563460</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/149563460</guid><author>Heyxy</author><pubDate>Wed, 23 Jul 2025 10:32:07 +0800</pubDate><description><![CDATA[BPE（及其变种如 WordPiece, SentencePiece）是现代 NLP 模型（如 BERT, GPT）进行。用这个新符号替换文本中所有出现的该符号对，然后回到步骤 2，继续统计和合并。当合并次数达到预设值（即词表大小达到目标）或没有高频对可合并时停止。计算所有相邻“符号对”（初始是字符对）在文本中出现的频率。将文本拆分成最小单位（如字符或字节），形成初始词表。，是理解这些模型如何处理文本的基础。），将它们合并成一个新的符号（(等，取决于合并次数)。相邻出现 2 次（在。相邻出现 2 次（在。]]></description><category></category></item><item><title><![CDATA[理解持久同调]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/149562912</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/149562912</guid><author>Heyxy</author><pubDate>Wed, 23 Jul 2025 10:15:19 +0800</pubDate><description><![CDATA[当尺度增大到某个值时，一个新的拓扑特征（如一个新的连通分量分裂出来，或一个新的孔洞形成）首次出现。持久性大的特征被认为更可能是数据中固有的、有意义的信号；当尺度继续增大到某个值时，这个特征消失（如一个连通分量与另一个合并，或一个孔洞被填充）。（特征消失时的尺度）。随着尺度（如球的半径）由小变大，构建一系列嵌套的拓扑空间（每个条形代表一个拓扑特征，左端是出生尺度，右端是死亡尺度。（如点云、网络）在不同“尺度”（如连接距离）下的。一个特征从出生到死亡的尺度区间长度称为它的。（特征首次出现时的尺度）和。]]></description><category></category></item><item><title><![CDATA[动态卷积神经网络]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/147138221</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/147138221</guid><author>Heyxy</author><pubDate>Fri, 11 Apr 2025 11:14:26 +0800</pubDate><description><![CDATA[CondConv在每个卷积层设置多套卷积核，在推断时对输入施加SE模块(只有一层全连接，不是标准的SE)，根据卷积层的输入决定各套卷积核的权重，最终加权求和得到一个为该输入量身定制的一套卷积核，最后执行一次卷积即可。然后三个模块相加，进行信息融合，得到最终模块A，模块A相比于最初的X经过了信息的提炼，融合了多个感受野的信息。将Excitation的输出的权重（Scale标准化）看做是经过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定。]]></description><category></category></item><item><title><![CDATA[Turbofan Engine Degradation Simulation-NASA涡轮风扇数据集概述]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/147121369</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/147121369</guid><author>Heyxy</author><pubDate>Thu, 10 Apr 2025 16:23:00 +0800</pubDate><description><![CDATA[每个时间序列都来自不同的引擎，即，数据可以被视为来自相同类型的引擎队列。每台发动机开始时都有不同程度的初始磨损和制造变化，这是用户不知道的。引擎在每个时间序列开始时正常运行，并在序列中的某个时间点出现故障。在训练集中，故障的幅度越来越大，直到系统故障。在测试集中，时间序列在系统故障之前的某个时间结束。目标是预测测试集中发生故障前的剩余运行周期数，即发动机在最后一个周期后将继续运行的工作周期数。每一行都是在单个操作周期中获取的数据的快照，每列都是一个不同的变量。2 (HPC降解，风扇降解)]]></description><category></category></item><item><title><![CDATA[SAE 稀疏自动编码器]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/147120506</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/147120506</guid><author>Heyxy</author><pubDate>Thu, 10 Apr 2025 16:00:03 +0800</pubDate><description><![CDATA[有关L1损失和L2损失的部分可参考SAE（稀疏自动编码器）是一种能从复杂数据中提取 “关键特征” 的工具。：将 LM 的高维隐藏状态映射到稀疏特征空间，生成稀疏激活向量。把复杂数据压缩成 “稀疏特征”。）：用稀疏特征还原原始数据，用 “最少特征” 还原数据（核心原理）。：让解码器用编码器输出的稀疏特征，尽可能还原原始输入。]]></description><category></category></item><item><title><![CDATA[时序ETT油温数据]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/146898756</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/146898756</guid><author>Heyxy</author><pubDate>Tue, 01 Apr 2025 09:24:20 +0800</pubDate><description><![CDATA[电力变压器油温数据，由国家电网提供，该数据集是来自中国同一个省的两个不同县的变压器数据，时间跨度为2年，原始数据每分钟记录一次（用 m 标记），每个数据集包含2年 * 365天 * 24小时 * 60分钟 = 1,051,200数据点。其中第一行（8列）是数据头，包括了 “HUFL”, “HULL”, “MUFL”, “MULL”, “LUFL”, “LULL” 和 “OT”，每一列的详细意义展示在表中。记录日期、高使用负载、高无用负载、中等使用负载、中等无用负载、低使用负载荷、低无用负载、油温。]]></description><category></category></item><item><title><![CDATA[Diffusion Model]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/146548449</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/146548449</guid><author>Heyxy</author><pubDate>Thu, 27 Mar 2025 11:01:08 +0800</pubDate><description><![CDATA[【李宏毅2023】扩散模型：和其他生成模型一样，实现从噪声（采样自简单的分布）生成目标数据样本。]]></description><category></category></item><item><title><![CDATA[CRPS和NLL]]></title><link>https://blog.youkuaiyun.com/Heyxy/article/details/146534319</link><guid>https://blog.youkuaiyun.com/Heyxy/article/details/146534319</guid><author>Heyxy</author><pubDate>Wed, 26 Mar 2025 17:08:45 +0800</pubDate><description><![CDATA[CRPS和NLL虽然都用于概率模型评估，但本质不同衡量预测的「整个概率分布」和「真实值」的差距。通过积分全局比较CDF，更适合评估连续分布的整体性能；​衡量预测分布中「真实值出现的概率」有多高。通过局部密度计算似然，更适合参数优化和密度估计任务。]]></description><category></category></item></channel></rss>