- 博客(7)
- 收藏
- 关注
RSS订阅原创 自注意力、掩码、位置编码、多头机制与教师强制
本文系统介绍了Transformer架构中的关键技术：1）自注意力机制通过QKV向量捕捉序列内部依赖；2）交叉注意力实现编码器-解码器信息交互；3）填充掩码和位置编码处理变长序列和位置信息；4）多头注意力拓展模型关注不同特征的能力；5）层归一化稳定训练过程；6）掩码注意力确保自回归特性；7）教师强制训练技术优化解码过程。这些创新构成了Transformer处理序列数据的基础。
2025-10-12 15:49:39
817
原创 注意力机制
本文系统介绍了注意力机制的核心原理与实现方法。首先阐述了注意力机制通过动态分配权重来聚焦关键信息的思想，并以代词指代为例说明其作用。接着详细解析了Q（查询）、K（键）、V（值）三个核心向量的含义、计算方式和形状特征。然后逐步推导了注意力计算公式，包括相似度计算、缩放处理、Softmax归一化和加权求和四个关键步骤。最后介绍了Self-Attention的自注意力机制和Multi-Head多头注意力机制，说明其通过多子空间学习不同语义关系的特点。全文通过矩阵运算视角，清晰展现了注意力机制实现上下文动态建模的完
2025-10-10 20:33:21
800
原创 WordPiece、Unigram和SentencePiece算法
本文介绍了三种主流子词分词算法：1. WordPiece通过互信息优先合并强关联字符对，采用自下而上策略，BERT系列模型采用；2. Unigram基于概率模型实施自上而下剪枝，通过损失函数评估子词价值，被T5等模型使用；3. SentencePiece创新性地直接处理原始文本（含空格），支持多语言且兼容BPE/Unigram算法，被mBART等采用。三种算法各有优势：WordPiece语义稳定、Unigram数学精确、SentencePiece多语言通用，均能有效解决OOV问题。
2025-10-10 19:55:09
1006
原创 决策树分类算法
决策树是一种监督学习算法，用于分类和回归任务，通过树状结构表示决策规则。ID3算法使用信息增益选择最优特征，CART算法则基于基尼指数或均方误差进行划分。决策树具有可视化强、处理非数值数据等优点，但容易过拟合，需通过剪枝优化。scikit-learn库提供了DecisionTreeClassifier等API实现决策树建模。文章介绍了ID3和CART算法的核心概念、计算步骤及实际应用案例。
2025-10-09 20:18:46
756
原创 BPE和BBPE算法
BPE（字节对编码）是一种从字符开始迭代合并高频字符对的分词方法，通过构建子词单元平衡词表规模与语义表达，减少未登录词问题。BBPE（字节级BPE）是其改进版本，直接在UTF-8字节流上操作，实现跨语言通用分词且完全消除未登录词。两者核心区别在于操作单位（字符vs字节）和应用范围（语言特定vs多语言通用），分别被GPT-1和GPT-2/3/4等模型采用。BPE适合特定语言场景，而BBPE具有更强的鲁棒性和通用性。
2025-10-09 19:54:47
1063
原创 逻辑回归算法(Logistic Regression)
逻辑回归是一种用于二分类问题的算法，其核心是通过Sigmoid函数将线性回归输出映射为概率值（0~1），并以0.5为阈值进行分类。该算法采用交叉熵损失函数而非均方误差，通过梯度下降优化参数。文章详细介绍了逻辑回归的数学原理，包括预测函数、损失函数和优化方法，并提供了手动实现和sklearnAPI实现两种代码示例。其中手动实现展示了二维数据的分类过程及决策边界拟合，而sklearn示例则演示了鸢尾花数据集的多分类应用。两种实现方式都验证了逻辑回归在分类问题中的有效性。
2025-09-01 20:42:15
976
原创 Python三大库之Numpy库
NumPy是Python中用于数值计算的核心库，提供高效的多维数组对象ndarray及丰富的操作函数。本文介绍了NumPy的核心概念，包括数组创建（如array()、zeros()、ones()）、数据类型（支持多种数值类型）、数组属性和操作（shape调整、切片索引、广播机制）。重点讲解了数组的增删改查（append/delete）、统计计算（均值/方差/标准差）以及维度变换（reshape/flatten）等方法。NumPy的底层C实现使其能高效处理大规模数据，支持向量化运算和广播机制，是科学计算和数据
2025-08-26 20:31:18
525
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人