- 博客(76)
- 收藏
- 关注
RSS订阅原创 可解释性方法：shap，及lime
<think>我们需要理解任务：根据用户提供的内容生成≤150字的文章摘要。用户提供了一篇长文，标题是“SHAP并非预测模型，而是模型事后解释工具...”，包含SHAP介绍、可视化、优化、与LIME对比等。摘要需要概括全文核心，不超过150字。 我们需要简洁地抽取关键点：SHAP是基于博弈论Shapley值的模型解释工具，用于归因预测结果到特征。它本身不优化模型，但可通过解释-诊断-优化驱动改进（数据清洗、特征工程、筛选、调参、业务校准）。与LIME相比，SHAP理论严谨、稳定、可加、支持全局聚合，但计算成
2026-09-01 09:43:12
421
原创 模型架构与机制：Encoder-only vs Decoder-only vs Encoder-Decoder
Transformer架构衍生出三大主干框架：Encoder-Decoder（如T5）、Encoder-only（如BERT）和Decoder-only（如GPT）。它们的主要区别在于注意力机制和应用场景： Encoder-Decoder：双向编码+自回归解码，适合翻译、摘要等序列转换任务，但结构复杂； Encoder-only：双向注意力，擅长分类、NER等理解任务，无法生成文本； Decoder-only：因果掩码注意力，通过自回归统一处理生成任务，成为大模型主流架构，因其训练目标统一、参数高效、推理优
2026-08-25 09:18:49
424
原创 bert输入长度有限，如何处理超长文本？
摘要：处理超长文本（如1万token）的核心方法分为两类：输入策略适配和模型架构改造。输入策略包括截断法和分层分块策略，后者通过滑动窗口或层次模型（如ToBERT）分别处理文本块再聚合结果。模型改造采用稀疏注意力机制（如Longformer、BigBird）降低计算复杂度至线性，或引入外部记忆（如Transformer-XL）。实际应用中，分块策略因实现简单常为首选，而架构改造需专用预训练模型。此外，检索增强方法可优先处理相关文本片段。选择方案需权衡任务需求、数据量及实现成本。
2026-08-19 00:16:34
378
原创 LLM中常见三种框架的区别 (encoder-only，encoder-decoder，decoder-only)
本文对比了三种Transformer架构的特点及适用场景：1）Encoder-only（如BERT）采用双向注意力，擅长文本理解类任务（分类、NER等）；2）Decoder-only（如GPT）使用掩码注意力实现自回归生成，是当前大模型主流架构，适合对话、续写等生成任务；3）Encoder-Decoder（如T5）结合双向编码和自回归解码，专精序列转换任务（翻译、摘要等）。三种架构在注意力机制、生成能力和适用场景上形成互补，分别针对理解、生成和转换三大NLP任务类型。
2026-08-18 23:42:02
253
原创 大模型——LLAMA框架介绍（含手撕）
本文介绍了LLAMA模型在Transformer架构上的两个关键改进：1) 使用Pre-RMSNorm替代Post-LayerNorm，通过仅对输入向量的均方根进行归一化，提高了计算效率和训练稳定性；2) 采用分组查询注意力(GQA)机制替代多头注意力(MHA)，通过将查询分组并与共享的键值对交互，显著减少了KV缓存的内存占用。文章详细阐述了两种技术的数学原理、实现细节和性能优势，并提供了PyTorch实现代码，展示了LLAMA如何通过架构优化提升大模型训练的效率和稳定性。
2026-03-28 22:46:50
486
1
原创 L1与L2正则化的差异
摘要： L1和L2正则化的核心区别在于惩罚项的数学形式和作用机制。L1通过绝对值惩罚（$ \lambda \sum |w_i| $）产生稀疏解，其菱形约束区域和高概率的坐标轴切点促使特征权重归零，实现特征选择；而L2通过平方惩罚（$ \lambda \sum w_i^2 $）使权重平滑衰减，圆形约束边界导致非零解。从梯度更新看，L1的恒定梯度推动小权重归零，L2的梯度随权重减小而衰减。L1的稀疏性源于拉普拉斯先验和几何特性，L2的高斯先验则更适合防止过拟合。
2026-03-28 22:41:55
397
原创 LR逻辑回归详解
逻辑回归是一种基于Sigmoid函数的二分类模型，通过线性组合和概率映射实现预测。其核心是交叉熵损失函数和梯度下降优化，适用于线性可分数据和大规模稀疏特征场景。优点包括计算高效、可解释性强，但存在对非线性数据拟合不足、易受多重共线性影响的缺点。相比树模型，逻辑回归是参数化线性方法，而树模型能自动处理特征交互和非线性关系。针对多重共线性问题，可采用特征筛选、正则化或PCA等方法解决。逻辑回归特别适合高维稀疏数据，因其计算效率和凸优化特性能保证稳定收敛。
2026-03-13 08:44:02
501
原创 大模型位置编码：绝对位置编码(sin/cos)与旋转位置编码(Rope)的区别
Llama采用的旋转位置编码（RoPE）相比传统sin/cos编码具有显著优势。RoPE通过旋转矩阵将位置信息融入词向量，保持模长不变仅改变方向，而sin/cos编码是简单叠加。关键区别在于：RoPE能显式建模相对位置关系（通过矩阵差），而sin/cos需隐式学习。RoPE优势包括：更好的长序列外推能力（利用旋转矩阵线性性质）、显式相对位置建模、保持向量空间稳定性以及更高计算效率。这种"相对位置融合"方式代表了位置编码技术的重要进步，特别适合处理长序列和复杂任务。
2026-03-01 22:14:37
718
原创 集成模型：gbdt，xgboost，lightgbm，catboost
GBDT和XGBoost是两种基于决策树的集成学习算法。GBDT通过梯度下降逐步添加决策树来拟合负梯度（残差），最小化损失函数。其核心是每轮训练新树拟合当前模型的负梯度，并通过泰勒展开优化损失函数。XGBoost在GBDT基础上引入正则化项和二阶导数信息，使用更精确的二阶泰勒展开近似损失函数，并加入叶子节点权重和数量的正则化控制模型复杂度。XGBoost采用近似算法加速树分裂过程，通过分裂增益公式选择最优分割点。两种算法都使用CART树作为基学习器，但XGBoost在效率和精度上有所提升，具有更强的泛化能力
2025-12-19 23:36:24
1298
原创 聚类方法（kmeans，DBSCAN，层次聚类，GMM，EM算法）
本文概述了常见的聚类算法及其核心思想。K-Means通过最小化簇内平方误差划分数据，但对初始中心敏感；K-means++优化初始中心选择；Bisecting K-means采用二分策略降低依赖性。DBSCAN基于密度发现任意形状簇，OPTICS通过可达距离改进多密度聚类。层次聚类通过树状结构合并或分裂簇，提供多种距离度量方式。这些算法各有优缺点，适用于不同数据场景。
2025-12-07 21:52:31
889
原创 最大似然估计（MLE）和MAP（最大后验概率）
伯努利分布（Bernoulli Distribution）是概率论中一种离散概率分布，描述只有两种可能结果的单次随机试验。MLE的核心思想是找到使观测数据出现概率最大的参数值。的先验分布是均匀分布时，即先验分布为常数时，最大后验估计与最大似然估计重合，因为此时。优化时需同时考虑似然和先验的权重（如L2正则对应高斯先验）。通过优化算法（如梯度下降）求解使对数似然最大的参数。MAP在MLE的基础上引入参数的先验分布。是第i个样本的标签（0或1），是待求参数（包含偏置项）。即：（当存在多个参数时，
2025-12-07 19:14:01
965
原创 知识蒸馏的基础概念
软标签（Soft Targets）教师模型在对输入 (x) 进行前向传播后，会得到一组logits（未归一化的得分）。通过在softmax前加入温度系数 (T>1) 进行温度软化piTexpziT∑jexpzjTpiT∑jexpzjTexpziT当 (T) 较大时，概率分布会变得更平滑，保留了类别之间的相对相似度信息（即“暗知识”），这比硬标签（one‑hot）提供了更丰富的学习信号。
2025-12-06 21:10:57
970
原创 bert常见的变体
BERT变体模型通过不同优化策略提升性能：ALBERT采用参数共享和嵌入分解降低参数量，适合轻量级场景；RoBERTa通过动态掩码和大批量训练增强泛化能力；ELECTRA引入生成器-判别器架构实现全token训练，提升效率；SpanBERT专为跨度任务设计，优化跨度掩码和边界目标。这些改进使BERT在效率、性能和任务适配性上得到全面提升。
2025-12-06 21:04:42
817
原创 常见的特征工程：数值型、类别型特征处理；特征构造、选择、文本特征处理、缺失值处理
为什么要做特征构造？原始特征无法直接表达业务规律，构造特征可以显式化非线性、交互、时间周期等信息，显著提升模型的与特征构造的常用坑有哪些?模型效果不提示，怎么办？特征工程是机器学习中数据预处理的核心环节，直接影响模型效果。
2025-11-30 22:32:27
1125
1
原创 时间序列模型：AR、MA、ARMA、ARIMA、ARCH、GARCH总结
本文介绍了时间序列分析中的主要模型。首先阐述了平稳序列、白噪声、滞后项和误差项等基本概念。重点讲解了AR模型（利用历史值预测当前值）、MA模型（考虑历史误差影响）及其组合ARMA模型。对于非平稳序列，介绍了通过差分处理的ARIMA模型。在波动性建模方面，详细说明了ARCH模型（基于历史残差平方）和GARCH模型（同时考虑历史残差和条件方差），并比较了两者的特点：GARCH通过引入条件方差的自回归部分，能够以更少参数捕捉长期波动特征。最后指出GARCH模型实质是对条件方差建立ARMA过程，与均值建模的ARMA
2025-11-30 22:06:43
1189
原创 近似最近邻查找的几种方法
近似最近邻查找（Approximate Nearest Neighbor Search, ANNS）是一种在高维空间中查找与查询点距离最近的若干个点的技术。与精确最近邻查找不同，近似最近邻查找允许一定程度的误差，以换取更高的查询效率和更低的计算成本。
2024-06-24 14:50:33
2060
1
原创 长尾问题定义及如何解决长尾分布问题
长尾问题（Long Tail Problem）是指在某些数据分布中，少数类别（或事件）出现的频率非常高，而多数类别（或事件）出现的频率非常低。这个现象在很多实际应用中都存在，比如电子商务中的商品销售、自然语言处理中的词频分布、推荐系统中的用户行为等。在长尾分布中，头部（高频部分）占据了大部分的关注和资源，而尾部（低频部分）包含了大量的类别，这些类别虽然单独出现的频率低，但总量却非常大。解决长尾问题的关键在于如何有效地处理这些低频类别，以充分利用长尾部分的数据价值。
2024-06-24 11:57:56
11469
原创 NLP中常见的tokenize方式及token类型
不同的任务和应用可能需要不同类型的tokens。例如，在机器翻译中可能会使用子词tokens来处理未知词汇，而在文本分类任务中，则可能更倾向于使用单词tokens。在选择tokenizer时，需要考虑文本的特点、处理任务的需求以及计算资源。通常，基于机器学习的tokenizer虽然性能较好，但计算成本也更高，而简单的基于规则的tokenizer则适用于快速处理或资源有限的场景。Tokenizer是一种工具，用于将文本分割成更小的单元，通常是单词、短语或其他有意义的符号，这些单元称为tokens。
2024-04-30 10:06:23
2440
原创 深度学习中的归一化：BN，LN，IN，GN的优缺点
归一化在深度学习中的应用包括批量归一化（Batch Normalization）、层归一化（Layer Normalization）、组归一化（Group Normalization）和实例归一化（Instance Normalization）等。这些技术在不同的网络结构和任务中有着广泛的应用，是现代深度学习架构中不可或缺的一部分。Batch Norm：把每个Batch中，每句话的相同位置的字向量看成一组做归一化。Layer Norm：在每一个句子中进行归一化。Instance Norm：每一个字的字向量的
2024-04-29 19:58:08
1814
原创 机器学习中的线性模型和非线性模型
线性模型通常易于解释，计算效率较高，而非线性模型则可以模拟更加复杂的数据结构，但可能需要更多的数据和计算资源，并且模型的可解释性可能较差。在实际应用中，选择哪种模型通常取决于数据的特性和所要解决的问题。线性模型是基于线性假设的模型，即输出是输入特征的线性组合。非线性模型可以捕捉数据中的非线性关系。
2024-04-28 19:36:50
1942
1
原创 SVM中常用的核函数及适用场景
核函数（Kernel functions）在机器学习中尤其是在支持向量机（SVM）中扮演着重要的角色，它们能够将数据映射到高维空间，从而解决非线性问题。在实际应用中，选择核函数通常取决于问题的具体需求和数据集的特性。通常需要通过交叉验证等方法来调整核函数的参数，以达到最佳的模型性能。
2024-04-28 19:35:51
4241
原创 集成学习——随机森林
随机森林是一种集成学习方法，它通过构建多个决策树并将它们的预测结果进行汇总来做出最终的决策。每棵树都是在数据集的一个随机子样本上训练得到的，并且在分裂节点时只考虑特征的一个随机子集。这种随机性有助于提高模型的泛化能力，减少过拟合。最终的预测结果是通过对所有树的预测进行投票（分类问题）或平均（回归问题）得到的。
2024-04-19 18:34:28
1166
原创 机器学习——逻辑回归
总结来说，交叉熵损失函数在逻辑回归中被广泛采用，是因为它与逻辑回归模型的概率输出相匹配，可以提供良好的梯度信息，保证了损失函数的凸性。
2024-04-19 18:18:30
676
原创 二分类模型来解决多分类问题
One-vs-Rest，也称为 One-vs-All，是将多分类问题分解为多个二分类问题的一种方法。对于有 ( N ) 个类别的多分类问题，OvR策略会创建 ( N ) 个二分类模型，每个模型负责将一个类别与其它所有类别区分开来。Error-Correcting Output Codes是一种更复杂的策略，它通过创建多个二分类器，并将多类标签编码为二进制串来工作。One-vs-One策略是另一种解决多分类问题的方法，它通过在每对类别间训练一个二分类模型来工作。个类别的问题，会训练。
2024-04-10 15:22:03
1182
原创 常用的回归损失函数
对于选择损失函数，需要考虑模型的具体需求和数据的特点。例如，如果数据包含许多异常值，可能会选择Huber损失或MAE来减少异常值的影响。如果模型需要惩罚大的误差，MSE或RMSE可能是更好的选择。
2024-04-10 15:18:47
1578
原创 统计学中不同相关系数的比较
Pearson是对线性关系的度量，对于非线性关系和非正态分布的数据可能不是很敏感。Kendall和Spearman是非参数方法，它们对于非正态分布的数据和非线性关系更为稳健，但通常具有较低的统计效能。Spearman通常对异常值更为敏感，而Kendall在处理小样本数据或有许多重复值的数据时更为可靠。
2024-03-15 14:31:29
1744
原创 leetcode1079:游戏玩法分析——求留存率
我们将日期 x 的 第一天留存率 定义为：假定安装日期为 X 的玩家的数量为 N ，其中在 X 之后的一天重新登录的玩家数量为 M，M/N 就是第一天留存率，四舍五入到小数点后两位。（player_id，event_date）是此表的主键(具有唯一值的列的组合)编写解决方案，报告所有安装日期、当天安装游戏的玩家数量和玩家的 第一天留存率。将以上进行综合，并用t3中的第二天仍登录数量/首次登录的玩家数量，等于留存率。玩家的 安装日期 定义为该玩家的第一个登录日。这张表显示了某些游戏的玩家的活动情况。
2024-02-05 17:25:06
840
原创 T618:sql行转列求学生地理报告
编写解决方案实现对大洲（continent）列的 透视表 操作，使得每个学生按照姓名的字母顺序依次排列在对应的大洲下面。
2024-02-05 15:47:08
410
原创 sql求解连续两个以上的空座位
按照seat_id排序（上面已经有序），并赋予排名，返回按 seat_id 升序排序 的结果表。A:我们首先找出所有的空座位：1，3，4，5。测试用例的生成使得两个以上的座位连续可用。Q：查找电影院所有连续可用的座位。，因此可以分为以下几步。结果表格式如下所示。
2024-02-04 14:30:48
1657
原创 python求解中位数
如果数组长度n为奇数，则(n+1)/2处对应值为中位数，如果数组下标从0开始，还需要减去1。如果数组长度n为偶数，则n/2,n/2+1两个位置数的平均值为中位数。首先将数组nums进行排序，然后找到中间位置的数值。假设中位数为x，并采用大小根堆来存储元素。
2024-02-03 16:10:03
3622
原创 sql求中位数
中位数是指有序数列中，位于的数的值若为奇数，则中间数开始位置=结束位置若为偶数，则中位数结束位置-开始位置=1即求解公司员工薪水的中位数。
2024-02-03 11:52:47
5494
原创 python文件输入读取——ACM格式
python读取多行输入的3中方式，sys.stdin,sys.stdin.readline(),input()
2024-02-02 13:10:40
953
原创 Bert详解
BERT的网络架构使用的是《Attention is all you need》中提出的多层Transformer结构。其最大的特点是抛弃了传统的RNN和CNN，通过Attention机制将任意位置的两个单词的距离转换成1，有效的解决了NLP中棘手的长期依赖问题。Transformer的结构在NLP领域中已经得到了广泛应用。
2024-01-17 14:23:09
2178
原创 transformer详解
介绍transformer中各个组件的原理，包括attention,resnet,layer normalization,position encoding等
2024-01-16 18:19:41
1464
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人