<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[分享深度学习，机器学习，大模型的相关知识]]></title><description><![CDATA[分享深度学习，机器学习，大模型的相关知识]]></description><link>https://blog.youkuaiyun.com/private_void_main</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; private_void_main]]></copyright><item><title><![CDATA[什么是信息熵?KL散度以及交叉熵推导]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/155755970</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/155755970</guid><author>private_void_main</author><pubDate>Wed, 10 Dec 2025 01:02:15 +0800</pubDate><description><![CDATA[本文系统性地介绍了信息论中的核心概念：信息量、熵、KL散度和交叉熵。首先通过实例说明信息量与事件概率成反比，并给出数学定义。熵被定义为系统不确定性的期望值，KL散度用于衡量两个概率分布的差异。在机器学习中，最小化KL散度等价于最小化交叉熵，因此交叉熵成为分类任务的核心损失函数。文章详细推导了这些概念之间的关系，并展示了在多分类和二分类任务中的具体应用形式，为理解信息论在机器学习中的作用提供了清晰的理论框架。]]></description><category></category></item><item><title><![CDATA[transformer（4）图解layernorm是怎么完成的]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/155636806</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/155636806</guid><author>private_void_main</author><pubDate>Sat, 06 Dec 2025 11:34:21 +0800</pubDate><description><![CDATA[摘要：归一化是训练深层网络的关键技术，用于解决梯度消失或爆炸问题。文本领域采用LayerNorm(LN)而非BatchNorm(BN)，因文本长度不固定且含无意义padding。LN对每个样本所有特征归一化，而RMSNorm简化计算仅用均方根。DeepNorm则针对超深层网络设计，结合残差连接优化数据分布。归一化位置分为层前(Pre-Norm)和层后(Post-Norm)，前者更易训练但后者能力更强，适用于更大模型。具体选择需根据模型规模和实验效果确定。（150字）]]></description><category></category></item><item><title><![CDATA[模型评估指标：ROC曲线与PR曲线如何选择]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/155470576</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/155470576</guid><author>private_void_main</author><pubDate>Tue, 02 Dec 2025 01:33:19 +0800</pubDate><description><![CDATA[场景特征推荐曲线为什么？典型例子正负样本均衡ROC此时两者表现差不多，但ROC不仅能评估模型，还能通过AUC直观给出模型的分数，便于横向对比。情感分析（好评/差评各半）、猫狗分类负样本极多 (正样本是稀疏的)PR我们更关心**“抓出来的正样本里，有多少是真的”。如果用ROC，FPR的变化会被巨大的负样本数量稀释，产生“模型效果很好”的幻觉**。欺诈检测（好人是绝大多数）、搜索排序（相关文档很少）、推荐系统需要剔除负样本ROC关注整体的分类能力，特别是需要控制误报率（FPR）在一定范围内时。]]></description><category></category></item><item><title><![CDATA[从 AdaGrad 到 AdamW：优化器的进化之路]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/155430882</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/155430882</guid><author>private_void_main</author><pubDate>Mon, 01 Dec 2025 00:49:51 +0800</pubDate><description><![CDATA[本文系统梳理了深度学习优化器的进化历程：从牛顿法的理论理想出发，到AdaGrad引入梯度平方和模拟曲率，RMSProp改进为指数加权平均避免学习率衰减过快，再到集大成的Adam结合动量和自适应学习率。特别指出Adam在处理L2正则化时的缺陷，以及AdamW如何通过解耦权重衰减来解决这一问题，使其成为大模型训练的首选。各优化器的核心思想与适用场景形成鲜明对比，展现了算法设计中对计算效率与优化效果的持续权衡。]]></description><category></category></item><item><title><![CDATA[YaRN：解密扩展大模型上下文的方法]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/155327342</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/155327342</guid><author>private_void_main</author><pubDate>Fri, 28 Nov 2025 01:07:13 +0800</pubDate><description><![CDATA[本文深入探讨了旋转位置编码（RoPE）及其扩展方法YaRN。RoPE通过旋转矩阵在query和key向量中注入位置信息，巧妙利用不同频率编码近距离和远距离位置关系。传统上下文窗口扩展方法（如位置内插）存在分辨率下降问题。YaRN基于NTK理论，提出非均匀缩放策略：高频维度保持原样，低频维度进行压缩。该方法通过引入阈值参数区分不同频率区域，实现更精细的扩展控制。相比直接内插，YaRN能在保持模型微观感知能力的同时，显著扩展上下文窗口，使模型处理长文本能力得到提升。]]></description><category></category></item><item><title><![CDATA[深度学习中的常用希腊字母发音与用途速查表]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/155302408</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/155302408</guid><author>private_void_main</author><pubDate>Thu, 27 Nov 2025 09:59:50 +0800</pubDate><description><![CDATA[本文整理了深度学习与数学中常用的希腊字母表，包含大小写、英文/中文注音及其典型含义。重点字母包括：α（学习率）、β（动量参数）、γ（折扣因子）、δ（梯度）、θ（模型参数）、λ（正则化系数）、μ（均值）、σ（标准差/Sigmoid函数）等。使用时需注意：同一字母在不同领域可能含义不同（如σ可表示求和或标准差），书写时需区分易混淆字母（如ν与v）。此外，模型参数的表示在不同学科存在差异（θ与w）。本表可作为数学符号的快速参考指南。]]></description><category></category></item><item><title><![CDATA[transformer(三) 位置编码以及旋转位置编码RoPE详解]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/155208233</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/155208233</guid><author>private_void_main</author><pubDate>Mon, 24 Nov 2025 23:50:46 +0800</pubDate><description><![CDATA[本文介绍了Transformer模型中位置编码的必要性及两种主要实现方式。首先指出Transformer缺乏序列顺序信息，因此需要位置编码来补充单词位置信息。传统绝对位置编码使用正弦余弦函数生成固定位置向量，但存在长文本位置信息不足的问题。随后重点介绍了旋转位置编码(RoPE)，它通过旋转矩阵将相对位置信息融入自注意力计算，使内积结果仅与相对位置相关。RoPE的优势在于能更好学习token间的相对位置关系，尤其适合处理长文本序列。相比绝对位置编码，RoPE通过相对位置信息提高了模型性能，在短文本训练后只需少]]></description><category></category></item><item><title><![CDATA[为什么分类模型使用交叉熵损失函数而不是均方误差？]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/155006114</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/155006114</guid><author>private_void_main</author><pubDate>Thu, 20 Nov 2025 08:00:00 +0800</pubDate><description><![CDATA[在深度学习和机器学习领域，为模型选择正确的损失函数是至关重要的。对于回归问题，我们通常使用均方误差（Mean Squared Error, MSE）作为损失函数。然而，在处理分类问题时，交叉熵（Cross-Entropy, CE）损失函数却是更常见的选择。本篇文章将深入探讨为什么在分类任务中我们更倾向于使用交叉熵而不是均方误差。]]></description><category></category></item><item><title><![CDATA[为什么Transformer使用LayerNorm而不是BatchNorm？]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/154965536</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/154965536</guid><author>private_void_main</author><pubDate>Wed, 19 Nov 2025 08:00:00 +0800</pubDate><description><![CDATA[摘要：本文对比了批量标准化(BN)和层标准化(LN)在深度学习中的差异及其适用场景。BN通过mini-batch的统计量进行特征维度标准化，能有效缓解内部协变量偏移问题，但难以处理NLP中的变长序列。而LN则在单个样本内部进行标准化，天然适配变长数据且不受batch size影响。Transformer选择LN主要基于三点：1)适应NLP变长序列特性；2)对小batch size不敏感；3)提供更稳定的训练动态。LN的样本级标准化方式更适合处理文本数据的独特性，这是其成为Transformer标配标准化方法]]></description><category></category></item><item><title><![CDATA[transformer(二) 多头注意力简介以及变种]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/154964739</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/154964739</guid><author>private_void_main</author><pubDate>Tue, 18 Nov 2025 00:55:10 +0800</pubDate><description><![CDATA[本文介绍了自注意力机制的几种变种。首先解释标准自注意力机制的计算过程，包括QKV矩阵的获取和注意力矩阵的计算。然后介绍稀疏注意力，它通过限制每个位置的关注范围（如前k个位置）将复杂度从O(n²)降至O(kn)。接着讨论多头注意力，通过多个并行的注意力头捕捉不同特征。最后介绍两种多头变体：分组注意力（同组Q共享KV）和多查询注意力（所有Q共享KV），这两种方法都能显著降低计算量。这些变体在保持模型性能的同时提高了计算效率。]]></description><category></category></item><item><title><![CDATA[transformer 教程(一) qkv矩阵介绍以及为什么除以根号d推导]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/154909491</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/154909491</guid><author>private_void_main</author><pubDate>Sun, 16 Nov 2025 14:12:13 +0800</pubDate><description><![CDATA[自注意力机制是Transformer模型的核心组件，它通过查询(Q)、键(K)、值(V)三个向量实现序列元素间的动态关联计算。具体过程包括：将输入嵌入向量与学习得到的权重矩阵相乘生成Q、K、V向量；通过点积计算注意力分数并进行√dk缩放以防止因高维导致的数值不稳定；最后对分数进行Softmax归一化并加权求和得到输出。其中，除以√d是关键技术，它能将点积结果的方差控制在1，避免梯度爆炸问题，确保模型训练的稳定性。这种机制使模型能够动态关注输入序列中的相关信息。]]></description><category></category></item><item><title><![CDATA[K折交叉验证（K-Fold Cross-Validation）深度解析]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/154232287</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/154232287</guid><author>private_void_main</author><pubDate>Sat, 01 Nov 2025 10:29:49 +0800</pubDate><description><![CDATA[K折交叉验证（K-Fold CV）是一种可靠的模型评估方法，通过系统交换训练集和验证集来降低评估偶然性，并最大化利用数据。其核心目的是评估模型泛化能力和选择超参数，而非直接生成最终模型。K折CV流程包括数据随机划分、循环训练与验证以及性能汇总。对于类别不均衡数据，推荐使用分层K折CV，它能保持每一折的类别比例与原始数据集一致，从而提供更稳定的评估结果。最终确定最佳配置后，应在全部训练数据上重新训练模型用于预测部署。]]></description><category></category></item><item><title><![CDATA[Visual Studio 编译 onnxruntime 1.14.1 更低版本兼容Win7]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/145630182</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/145630182</guid><author>private_void_main</author><pubDate>Fri, 14 Feb 2025 12:00:56 +0800</pubDate><description><![CDATA[Visual Studio 编译 onnxruntime 1.14.1 更低版本兼容Win7]]></description><category></category></item><item><title><![CDATA[numpy 广播机制]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/145147404</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/145147404</guid><author>private_void_main</author><pubDate>Wed, 15 Jan 2025 09:55:34 +0800</pubDate><description><![CDATA[【代码】numpy 广播机制。]]></description><category></category></item><item><title><![CDATA[CentOS 7 桌面版安装 cuda 12.4]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/143893306</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/143893306</guid><author>private_void_main</author><pubDate>Tue, 19 Nov 2024 19:23:00 +0800</pubDate><description><![CDATA[【代码】CentOS 7 桌面版安装 cuda 12.4。]]></description><category></category></item><item><title><![CDATA[AMD CPU下pytorch 多GPU运行卡死和死锁解决]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/143701866</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/143701866</guid><author>private_void_main</author><pubDate>Tue, 12 Nov 2024 09:51:33 +0800</pubDate><description><![CDATA[【代码】AMD CPU下pytorch 多GPU运行卡死和死锁解决。]]></description><category></category></item><item><title><![CDATA[ubuntu内核更新导致的nvidia cuda驱动失效问题]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/143673807</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/143673807</guid><author>private_void_main</author><pubDate>Mon, 11 Nov 2024 10:19:37 +0800</pubDate><description><![CDATA[【代码】ubuntu内核更新导致的nvidia cuda驱动失效问题。]]></description><category></category></item><item><title><![CDATA[iptables使用教程]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/130465694</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/130465694</guid><author>private_void_main</author><pubDate>Sun, 07 May 2023 03:24:54 +0800</pubDate><description><![CDATA[iptables入门介绍,首先将Linux内核如何处理数据流量包流程展示出来,再介绍命令参数,循序渐入]]></description><category></category></item><item><title><![CDATA[SSH端口映射]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/130411859</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/130411859</guid><author>private_void_main</author><pubDate>Thu, 27 Apr 2023 17:43:50 +0800</pubDate><description><![CDATA[将远程主机的某个端口映射到本主机的某个端口, 使得可以直接通过访问到本主机的某个端口和来访问远程主机的端口。]]></description><category></category></item><item><title><![CDATA[linux使用systemd来管理程序]]></title><link>https://blog.youkuaiyun.com/private_void_main/article/details/128318045</link><guid>https://blog.youkuaiyun.com/private_void_main/article/details/128318045</guid><author>private_void_main</author><pubDate>Wed, 14 Dec 2022 16:13:43 +0800</pubDate><description><![CDATA[使用systemd智能管理后台程序,智能崩溃重启]]></description><category></category></item></channel></rss>