<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[bulling的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/bulling</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; bulling]]></copyright><item><title><![CDATA[可解释性方法：shap，及lime]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/164251818</link><guid>https://blog.youkuaiyun.com/bulling/article/details/164251818</guid><author>bulling</author><pubDate>Tue, 01 Sep 2026 09:43:12 +0800</pubDate><description><![CDATA[<think>我们需要理解任务：根据用户提供的内容生成≤150字的文章摘要。用户提供了一篇长文，标题是“SHAP并非预测模型，而是模型事后解释工具...”，包含SHAP介绍、可视化、优化、与LIME对比等。摘要需要概括全文核心，不超过150字。 我们需要简洁地抽取关键点：SHAP是基于博弈论Shapley值的模型解释工具，用于归因预测结果到特征。它本身不优化模型，但可通过解释-诊断-优化驱动改进（数据清洗、特征工程、筛选、调参、业务校准）。与LIME相比，SHAP理论严谨、稳定、可加、支持全局聚合，但计算成]]></description><category></category></item><item><title><![CDATA[模型架构与机制：Encoder-only vs Decoder-only vs Encoder-Decoder]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/164044149</link><guid>https://blog.youkuaiyun.com/bulling/article/details/164044149</guid><author>bulling</author><pubDate>Tue, 25 Aug 2026 09:18:49 +0800</pubDate><description><![CDATA[Transformer架构衍生出三大主干框架：Encoder-Decoder（如T5）、Encoder-only（如BERT）和Decoder-only（如GPT）。它们的主要区别在于注意力机制和应用场景： Encoder-Decoder：双向编码+自回归解码，适合翻译、摘要等序列转换任务，但结构复杂； Encoder-only：双向注意力，擅长分类、NER等理解任务，无法生成文本； Decoder-only：因果掩码注意力，通过自回归统一处理生成任务，成为大模型主流架构，因其训练目标统一、参数高效、推理优]]></description><category></category></item><item><title><![CDATA[bert输入长度有限，如何处理超长文本？]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/163865630</link><guid>https://blog.youkuaiyun.com/bulling/article/details/163865630</guid><author>bulling</author><pubDate>Wed, 19 Aug 2026 00:16:34 +0800</pubDate><description><![CDATA[摘要：处理超长文本（如1万token）的核心方法分为两类：输入策略适配和模型架构改造。输入策略包括截断法和分层分块策略，后者通过滑动窗口或层次模型（如ToBERT）分别处理文本块再聚合结果。模型改造采用稀疏注意力机制（如Longformer、BigBird）降低计算复杂度至线性，或引入外部记忆（如Transformer-XL）。实际应用中，分块策略因实现简单常为首选，而架构改造需专用预训练模型。此外，检索增强方法可优先处理相关文本片段。选择方案需权衡任务需求、数据量及实现成本。]]></description><category></category></item><item><title><![CDATA[LLM中常见三种框架的区别 (encoder-only，encoder-decoder，decoder-only)]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/163865388</link><guid>https://blog.youkuaiyun.com/bulling/article/details/163865388</guid><author>bulling</author><pubDate>Tue, 18 Aug 2026 23:42:02 +0800</pubDate><description><![CDATA[本文对比了三种Transformer架构的特点及适用场景：1）Encoder-only（如BERT）采用双向注意力，擅长文本理解类任务（分类、NER等）；2）Decoder-only（如GPT）使用掩码注意力实现自回归生成，是当前大模型主流架构，适合对话、续写等生成任务；3）Encoder-Decoder（如T5）结合双向编码和自回归解码，专精序列转换任务（翻译、摘要等）。三种架构在注意力机制、生成能力和适用场景上形成互补，分别针对理解、生成和转换三大NLP任务类型。]]></description><category></category></item><item><title><![CDATA[常用激活函数（深度学习、大模型）]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/157330201</link><guid>https://blog.youkuaiyun.com/bulling/article/details/157330201</guid><author>bulling</author><pubDate>Mon, 25 May 2026 10:07:56 +0800</pubDate><description><![CDATA[LLM、ML、DL常用激活函数]]></description><category></category></item><item><title><![CDATA[大模型——LLAMA框架介绍（含手撕）]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/157899820</link><guid>https://blog.youkuaiyun.com/bulling/article/details/157899820</guid><author>bulling</author><pubDate>Sat, 28 Mar 2026 22:46:50 +0800</pubDate><description><![CDATA[本文介绍了LLAMA模型在Transformer架构上的两个关键改进：1) 使用Pre-RMSNorm替代Post-LayerNorm，通过仅对输入向量的均方根进行归一化，提高了计算效率和训练稳定性；2) 采用分组查询注意力(GQA)机制替代多头注意力(MHA)，通过将查询分组并与共享的键值对交互，显著减少了KV缓存的内存占用。文章详细阐述了两种技术的数学原理、实现细节和性能优势，并提供了PyTorch实现代码，展示了LLAMA如何通过架构优化提升大模型训练的效率和稳定性。]]></description><category></category></item><item><title><![CDATA[L1与L2正则化的差异]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/159089258</link><guid>https://blog.youkuaiyun.com/bulling/article/details/159089258</guid><author>bulling</author><pubDate>Sat, 28 Mar 2026 22:41:55 +0800</pubDate><description><![CDATA[摘要： L1和L2正则化的核心区别在于惩罚项的数学形式和作用机制。L1通过绝对值惩罚（$ \lambda \sum |w_i| $）产生稀疏解，其菱形约束区域和高概率的坐标轴切点促使特征权重归零，实现特征选择；而L2通过平方惩罚（$ \lambda \sum w_i^2 $）使权重平滑衰减，圆形约束边界导致非零解。从梯度更新看，L1的恒定梯度推动小权重归零，L2的梯度随权重减小而衰减。L1的稀疏性源于拉普拉斯先验和几何特性，L2的高斯先验则更适合防止过拟合。]]></description><category></category></item><item><title><![CDATA[LR逻辑回归详解]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/158583565</link><guid>https://blog.youkuaiyun.com/bulling/article/details/158583565</guid><author>bulling</author><pubDate>Fri, 13 Mar 2026 08:44:02 +0800</pubDate><description><![CDATA[逻辑回归是一种基于Sigmoid函数的二分类模型，通过线性组合和概率映射实现预测。其核心是交叉熵损失函数和梯度下降优化，适用于线性可分数据和大规模稀疏特征场景。优点包括计算高效、可解释性强，但存在对非线性数据拟合不足、易受多重共线性影响的缺点。相比树模型，逻辑回归是参数化线性方法，而树模型能自动处理特征交互和非线性关系。针对多重共线性问题，可采用特征筛选、正则化或PCA等方法解决。逻辑回归特别适合高维稀疏数据，因其计算效率和凸优化特性能保证稳定收敛。]]></description><category></category></item><item><title><![CDATA[大模型位置编码：绝对位置编码(sin/cos)与旋转位置编码(Rope)的区别]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/156982271</link><guid>https://blog.youkuaiyun.com/bulling/article/details/156982271</guid><author>bulling</author><pubDate>Sun, 01 Mar 2026 22:14:37 +0800</pubDate><description><![CDATA[Llama采用的旋转位置编码（RoPE）相比传统sin/cos编码具有显著优势。RoPE通过旋转矩阵将位置信息融入词向量，保持模长不变仅改变方向，而sin/cos编码是简单叠加。关键区别在于：RoPE能显式建模相对位置关系（通过矩阵差），而sin/cos需隐式学习。RoPE优势包括：更好的长序列外推能力（利用旋转矩阵线性性质）、显式相对位置建模、保持向量空间稳定性以及更高计算效率。这种&quot;相对位置融合&quot;方式代表了位置编码技术的重要进步，特别适合处理长序列和复杂任务。]]></description><category></category></item><item><title><![CDATA[集成模型：gbdt，xgboost，lightgbm，catboost]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/156098290</link><guid>https://blog.youkuaiyun.com/bulling/article/details/156098290</guid><author>bulling</author><pubDate>Fri, 19 Dec 2025 23:36:24 +0800</pubDate><description><![CDATA[GBDT和XGBoost是两种基于决策树的集成学习算法。GBDT通过梯度下降逐步添加决策树来拟合负梯度（残差），最小化损失函数。其核心是每轮训练新树拟合当前模型的负梯度，并通过泰勒展开优化损失函数。XGBoost在GBDT基础上引入正则化项和二阶导数信息，使用更精确的二阶泰勒展开近似损失函数，并加入叶子节点权重和数量的正则化控制模型复杂度。XGBoost采用近似算法加速树分裂过程，通过分裂增益公式选择最优分割点。两种算法都使用CART树作为基学习器，但XGBoost在效率和精度上有所提升，具有更强的泛化能力]]></description><category></category></item><item><title><![CDATA[聚类方法（kmeans，DBSCAN，层次聚类，GMM，EM算法）]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/155676348</link><guid>https://blog.youkuaiyun.com/bulling/article/details/155676348</guid><author>bulling</author><pubDate>Sun, 07 Dec 2025 21:52:31 +0800</pubDate><description><![CDATA[本文概述了常见的聚类算法及其核心思想。K-Means通过最小化簇内平方误差划分数据，但对初始中心敏感；K-means++优化初始中心选择；Bisecting K-means采用二分策略降低依赖性。DBSCAN基于密度发现任意形状簇，OPTICS通过可达距离改进多密度聚类。层次聚类通过树状结构合并或分裂簇，提供多种距离度量方式。这些算法各有优缺点，适用于不同数据场景。]]></description><category></category></item><item><title><![CDATA[最大似然估计（MLE）和MAP（最大后验概率）]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/155666732</link><guid>https://blog.youkuaiyun.com/bulling/article/details/155666732</guid><author>bulling</author><pubDate>Sun, 07 Dec 2025 19:14:01 +0800</pubDate><description><![CDATA[伯努利分布（Bernoulli Distribution）是概率论中一种离散概率分布，描述只有两种可能结果的单次随机试验。MLE的核心思想是找到使观测数据出现概率最大的参数值。的先验分布是均匀分布时，即先验分布为常数时，最大后验估计与最大似然估计重合，因为此时。优化时需同时考虑似然和先验的权重（如L2正则对应高斯先验）。通过优化算法（如梯度下降）求解使对数似然最大的参数。MAP在MLE的基础上引入参数的先验分布。是第i个样本的标签（0或1），是待求参数（包含偏置项）。即：（当存在多个参数时，]]></description><category></category></item><item><title><![CDATA[知识蒸馏的基础概念]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/155647493</link><guid>https://blog.youkuaiyun.com/bulling/article/details/155647493</guid><author>bulling</author><pubDate>Sat, 06 Dec 2025 21:10:57 +0800</pubDate><description><![CDATA[软标签（Soft Targets）教师模型在对输入 (x) 进行前向传播后，会得到一组logits（未归一化的得分）。通过在softmax前加入温度系数 (T>1) 进行温度软化piTexp⁡ziT∑jexp⁡zjTpiT​∑j​expzj​Texpzi​T​当 (T) 较大时，概率分布会变得更平滑，保留了类别之间的相对相似度信息（即“暗知识”），这比硬标签（one‑hot）提供了更丰富的学习信号。]]></description><category></category></item><item><title><![CDATA[bert常见的变体]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/155645788</link><guid>https://blog.youkuaiyun.com/bulling/article/details/155645788</guid><author>bulling</author><pubDate>Sat, 06 Dec 2025 21:04:42 +0800</pubDate><description><![CDATA[BERT变体模型通过不同优化策略提升性能：ALBERT采用参数共享和嵌入分解降低参数量，适合轻量级场景；RoBERTa通过动态掩码和大批量训练增强泛化能力；ELECTRA引入生成器-判别器架构实现全token训练，提升效率；SpanBERT专为跨度任务设计，优化跨度掩码和边界目标。这些改进使BERT在效率、性能和任务适配性上得到全面提升。]]></description><category></category></item><item><title><![CDATA[常见的特征工程：数值型、类别型特征处理；特征构造、选择、文本特征处理、缺失值处理]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/155428365</link><guid>https://blog.youkuaiyun.com/bulling/article/details/155428365</guid><author>bulling</author><pubDate>Sun, 30 Nov 2025 22:32:27 +0800</pubDate><description><![CDATA[为什么要做特征构造？原始特征无法直接表达业务规律，构造特征可以显式化非线性、交互、时间周期等信息，显著提升模型的与特征构造的常用坑有哪些?模型效果不提示，怎么办？特征工程是机器学习中数据预处理的核心环节，直接影响模型效果。]]></description><category></category></item><item><title><![CDATA[时间序列模型：AR、MA、ARMA、ARIMA、ARCH、GARCH总结]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/155427213</link><guid>https://blog.youkuaiyun.com/bulling/article/details/155427213</guid><author>bulling</author><pubDate>Sun, 30 Nov 2025 22:06:43 +0800</pubDate><description><![CDATA[本文介绍了时间序列分析中的主要模型。首先阐述了平稳序列、白噪声、滞后项和误差项等基本概念。重点讲解了AR模型（利用历史值预测当前值）、MA模型（考虑历史误差影响）及其组合ARMA模型。对于非平稳序列，介绍了通过差分处理的ARIMA模型。在波动性建模方面，详细说明了ARCH模型（基于历史残差平方）和GARCH模型（同时考虑历史残差和条件方差），并比较了两者的特点：GARCH通过引入条件方差的自回归部分，能够以更少参数捕捉长期波动特征。最后指出GARCH模型实质是对条件方差建立ARMA过程，与均值建模的ARMA]]></description><category></category></item><item><title><![CDATA[近似最近邻查找的几种方法]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/139926117</link><guid>https://blog.youkuaiyun.com/bulling/article/details/139926117</guid><author>bulling</author><pubDate>Mon, 24 Jun 2024 14:50:33 +0800</pubDate><description><![CDATA[近似最近邻查找（Approximate Nearest Neighbor Search, ANNS）是一种在高维空间中查找与查询点距离最近的若干个点的技术。与精确最近邻查找不同，近似最近邻查找允许一定程度的误差，以换取更高的查询效率和更低的计算成本。]]></description><category></category></item><item><title><![CDATA[长尾问题定义及如何解决长尾分布问题]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/139921729</link><guid>https://blog.youkuaiyun.com/bulling/article/details/139921729</guid><author>bulling</author><pubDate>Mon, 24 Jun 2024 11:57:56 +0800</pubDate><description><![CDATA[长尾问题（Long Tail Problem）是指在某些数据分布中，少数类别（或事件）出现的频率非常高，而多数类别（或事件）出现的频率非常低。这个现象在很多实际应用中都存在，比如电子商务中的商品销售、自然语言处理中的词频分布、推荐系统中的用户行为等。在长尾分布中，头部（高频部分）占据了大部分的关注和资源，而尾部（低频部分）包含了大量的类别，这些类别虽然单独出现的频率低，但总量却非常大。解决长尾问题的关键在于如何有效地处理这些低频类别，以充分利用长尾部分的数据价值。]]></description><category></category></item><item><title><![CDATA[NLP中常见的tokenize方式及token类型]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/138323711</link><guid>https://blog.youkuaiyun.com/bulling/article/details/138323711</guid><author>bulling</author><pubDate>Tue, 30 Apr 2024 10:06:23 +0800</pubDate><description><![CDATA[不同的任务和应用可能需要不同类型的tokens。例如，在机器翻译中可能会使用子词tokens来处理未知词汇，而在文本分类任务中，则可能更倾向于使用单词tokens。在选择tokenizer时，需要考虑文本的特点、处理任务的需求以及计算资源。通常，基于机器学习的tokenizer虽然性能较好，但计算成本也更高，而简单的基于规则的tokenizer则适用于快速处理或资源有限的场景。Tokenizer是一种工具，用于将文本分割成更小的单元，通常是单词、短语或其他有意义的符号，这些单元称为tokens。]]></description><category></category></item><item><title><![CDATA[深度学习中的归一化：BN，LN，IN，GN的优缺点]]></title><link>https://blog.youkuaiyun.com/bulling/article/details/138323634</link><guid>https://blog.youkuaiyun.com/bulling/article/details/138323634</guid><author>bulling</author><pubDate>Mon, 29 Apr 2024 19:58:08 +0800</pubDate><description><![CDATA[归一化在深度学习中的应用包括批量归一化（Batch Normalization）、层归一化（Layer Normalization）、组归一化（Group Normalization）和实例归一化（Instance Normalization）等。这些技术在不同的网络结构和任务中有着广泛的应用，是现代深度学习架构中不可或缺的一部分。Batch Norm：把每个Batch中，每句话的相同位置的字向量看成一组做归一化。Layer Norm：在每一个句子中进行归一化。Instance Norm：每一个字的字向量的]]></description><category></category></item></channel></rss>