Rabbit_QL的博客

摘要： Unigram分词算法采用"剪枝"策略，与BPE/WordPiece的"搭积木"方式相反。它从大规模候选词表出发，通过EM算法迭代裁剪：E步估计子词概率，M步删除对语料似然影响最小的子词。其核心优势在于维护了概率模型，支持多种合法切分方式并计算各切分的概率，理论框架更加自洽。该算法被应用于T5、ALBERT等模型，通过动态规划寻找全局最优切分，同时保留单字符作为兜底方案。Unigram将一元语言模型的概率框架下沉到分词阶段，利用独立事件的概率乘积计算切分可能性

WordPiece与BPE分词算法的核心区别在于合并策略：BPE基于高频组合，WordPiece则选择强关联组合。WordPiece通过点互信息(PMI)评估候选对，优先合并共现比例显著高于随机预期的组合。其训练流程与BPE类似，但使用"##"前缀区分词首/词中子词，既保留语义差异又便于解码还原。这种设计使WordPiece能更精准捕捉语言中的强关联模式，成为BERT等模型的首选分词方法。

本文介绍了如何从零实现BPE(Byte Pair Encoding)分词算法。首先将文本转换为UTF-8字节序列作为初始词表，通过统计高频相邻符号对并合并生成新token，逐步构建更大的词表。文章详细讲解了统计符号对、合并操作的关键实现细节，并提供了完整的Python代码示例，不依赖第三方库。代码展示了如何训练BPE分词器，通过迭代合并构建指定大小的词表，最终实现对文本的高效压缩表示。

本文介绍了BPE（Byte Pair Encoding）分词算法及其在大型语言模型中的应用。首先通过在线工具Tiktokenizer直观展示分词效果，指出标点符号、空格和不同语言的分词差异。随后分析传统分词方法的问题，提出子词切分的必要性。BPE算法通过统计高频相邻符号对并逐步合并，构建出平衡词表大小和语义完整性的分词方案。文章通过简单示例详细说明BPE的工作原理，包括从字节级初始词表出发，逐步合并生成嵌套符号的过程。最后以真实语料演示BPE训练流程，揭示该算法如何自动学习最优子词切分规则。

大模型训练的成功不仅取决于模型架构，更关键在于上游数据处理的质量。文章通过工厂类比，指出上游（数据收集、清洗、分词、预训练）决定80%的模型性能，而下游（微调、对齐、部署）只是应用环节。数据多样性、清洗质量、分词优化等上游工作直接影响模型的知识广度和理解能力。实践表明，提升数据质量的投入产出比远高于调参。要构建高效大模型，必须重视全流程管理，特别是上游基础工作，避免"垃圾进垃圾出"的问题。

中文没有空格，分词是 NLP 的第一道门槛。本文从歧义问题出发，深入讲解 jieba 的核心算法——DAG动态规划处理已知词、HMM Viterbi 识别未登录词，并对比精确、全、搜索引擎三种模式的适用场景。

本文介绍了大语言模型中的Tokenization（分词）技术，它是将自然语言文本转换为机器可处理数字序列的关键预处理步骤。文章首先阐述了分词的基本概念和作用，指出词元(Token)是模型处理的最小单元，并通过嵌入(Embedding)转换为数值向量。随后详细解析了分词的完整流程：文本标准化、分词、数值编码和嵌入映射，其中重点说明了文本标准化的具体方法（大小写转换、Unicode归一化、标点移除等）及其Python实现。文章强调分词策略直接影响模型的语义理解、罕见词处理、计算效率等核心性能，是NLP系统设计中

摘要：Embedding Lookup是NLP模型的基础操作，将离散词语转换为连续向量。通过词索引从embedding矩阵中查找对应向量（如"banana"索引1对应向量[0.2,0.4,0.6]）。数学上可视为矩阵行索引操作，PyTorch中通过nn.Embedding实现批量查询。相比传统one-hot编码（需构造高维稀疏向量并矩阵乘法），Embedding Lookup直接定位目标行，计算效率更高（O(1)复杂度），尤其适用于大规模词表（如BERT/GPT）。该操作是Transfo

迁移学习中，全量微调（Full Fine-tuning）和冻结主干网络（Frozen Backbone）是两种主要策略。全量微调更新所有参数，适合大数据或任务差异大的场景，但训练成本高且需分层学习率；冻结主干网络仅更新分类头，适用于小数据或相似任务，训练速度快但性能受限。关键参数对比显示：全量微调需小学习率、小批次，而冻结策略可用更大学习率和批次。实践建议包括：全量微调推荐分层学习率和Warmup，冻结策略可减少正则化并延长训练周期。根据任务需求选择合适的策略能显著提升模型性能。

本文系统梳理了深度学习中Fine-tuning（微调）的几种常见策略。主要分为两大类：冻结特征微调（Feature Extraction/Linear Probing）和不冻结特征微调（Full Fine-tuning/End-to-End）。Feature Extraction将预训练模型作为固定特征提取器，仅训练新增分类器；Linear Probing是其特殊形式，仅训练线性层以评估预训练特征质量。Full Fine-tuning则更新所有参数，适用于大数据集；End-to-End强调从输入到输出的整体

本文通过一个最小示例详细讲解了CBOW模型的前向计算与反向传播过程。给定句子"the cat sat"，模型基于上下文词["the","sat"]预测中心词"cat"。首先将上下文词转换为one-hot向量并取平均，然后与随机初始化的嵌入矩阵相乘得到上下文向量。该向量经输出层计算各词的logits分数，再通过softmax转换为概率分布。使用交叉熵损失衡量预测误差（目标词"cat"概率为0.343时损失约1.

自然语言处理领域经历了从词袋模型(BoW)到现代词嵌入(Embedding)的范式转变。BoW采用高维稀疏向量进行显式统计，每个维度对应词表中的一个词，具有强可解释性；而现代Embedding通过低维稠密向量隐式学习语言分布，语义信息编码在向量间的几何关系中。尽管Embedding在语义理解任务上表现更优，但BoW在小数据集、低延迟、高可解释性场景中仍具优势。两种方法反映了对语言本质的不同建模假设：BoW关注离散符号统计，Embedding则捕捉连续分布结构。理解这一核心差异对NLP实践至关重要。

本文介绍了TF-IDF的原理与应用，重点讲解了如何用Python实现文本向量化。主要内容包括： TF-IDF通过词频(TF)和逆文档频率(IDF)衡量词的重要性，适用于关键词提取、文本相似度计算和搜索推荐。 使用sklearn的TfidfVectorizer实现文本向量化，包括参数设置、fit()构建词表和transform()转换文本为向量。 通过中文示例详细解析了TF-IDF的计算过程，说明TF反映词频，IDF衡量区分度，两者结合得到最终权重。 TF-IDF将文本量化为向量，为后续文本分析提供数值基础。

本文介绍了N-gram语言模型的构建与应用，包括Unigram、Bigram和Trigram的统计方法及其Python实现。通过马尔可夫假设简化语言建模，利用链式法则分解句子概率，并详细讲解了如何计算条件概率。针对数据稀疏性问题，重点阐述了拉普拉斯平滑技术，通过加一法避免零概率问题。文章结合代码示例，展示了从语料预处理、分词到模型评估的全流程，为NLP初学者提供了实用的技术指南。

词袋模型（BoW）是自然语言处理的基础技术，将文本表示为词频向量。其核心思想是忽略词序，仅统计词汇出现次数。构建过程包括分词、建立词汇表和向量化。BoW简单高效，但存在词序丢失、语义忽略等局限，无法处理同义词和多义词问题。尽管存在不足，BoW为后续词向量模型（如Word2Vec）奠定了基础，在文本分类等任务中仍有应用价值。

本文探讨了自然语言处理中的文本表示技术演进，从词袋模型到词嵌入方法。计算机无法直接理解非结构化的自然语言，必须将其转换为结构化、可计算的向量表示。词袋模型通过词频统计实现文本向量化，但无法建模语义关系。Word2Vec则通过神经网络学习词向量，将语义信息编码到连续向量空间中，使相似上下文的词在向量空间中距离相近。这种分布式语义表示突破了词袋模型的局限，为后续深度学习模型奠定了基础。文章系统分析了不同方法的核心思想、实现原理及优缺点，揭示了文本表示学习作为语言智能第一步的关键作用。

大语言模型（LLM）是参数规模达数百亿甚至更高的语言模型，通过海量数据训练获得理解和生成自然语言的能力。与传统模型相比，LLM展现出"涌现能力"，如少样本学习等质的飞跃。其发展经历了统计语言模型、神经语言模型、预训练语言模型三个阶段，最终在Transformer架构和大规模参数支持下实现通用智能。ChatGPT的出现标志着LLM从研究工具转变为通用交互平台。研究表明，模型性能随规模扩大呈非线性提升，验证了"扩展定律"（Scaling Law）的存在。国内外已涌现GPT

​ 困惑度（Perplexity, PPL）衡量了语言模型在预测序列时的“心智状态”：数值越小，表示模型在每一步预测下一个词元时更自信、备选方案更少，也就是越不困惑。​ 可以想象你在玩一个写句子的小游戏：每写一个词，你心里都有一堆备选单词。困惑度就是告诉你平均每一步有多少个备选词。

本文探讨了大语言模型（LLM）训练数据的构造方式，揭示了其与传统序列模型的关键差异。LLM训练并非逐篇阅读文档，而是以token为最小单位进行next-token预测。重点分析了为何LLM不能使用滑动窗口（因其导致重复计算和算力浪费），并详细拆解了从原始语料到训练样本的完整流水线：包括文档清洗、token流拼接、固定长度block切分等关键步骤。特别强调了"packed sequence"技术如何通过attention mask实现物理拼接与逻辑隔离，从而最大化token利用率。最终指出

本文探讨了语言模型训练中序列切分的三种策略。首先介绍了固定长度的next-token prediction训练设定，说明输入输出都是序列形式的必要性及其工程优势。然后重点分析了两种切分方法：理论上的滑动窗口（stride=1）能完整覆盖所有监督信号但计算成本过高；随机采样通过引入随机偏移量避免固定切分边界，在多个epoch中改变子序列对齐方式，实现高效训练。最后通过代码示例展示了随机采样的具体实现过程，包括随机偏移、子序列数量计算和起点确定等关键步骤。这些策略在模型训练效率与信息利用率之间实现了不同平衡。

本文探讨了语言模型处理长文本序列的核心挑战与解决方案。由于模型只能处理固定长度的输入序列，必须将连续文本切分为固定长度的子序列。文章分析了三种主要切分策略：理论上的滑动窗口、随机采样和顺序采样，并指出这些方法在连接语言建模理论与工程实践中的关键作用。通过将长文本转换为大量"局部上下文→下一个token"的训练样本，实现了在有限历史窗口下的有效学习。文章还提供了相关代码实现，帮助读者从原理理解过渡到工程实践。

统计语言模型中的n-gram方法通过马尔可夫假设简化了语言建模问题，将词序列概率分解为局部条件概率的乘积。核心思想是利用固定长度的上下文窗口（n-1个词）来预测当前词，通过最大似然估计计算词频比。该方法计算简单，但面临数据稀疏问题，高阶n-gram尤其严重。拉普拉斯平滑等技术被用于缓解零概率问题。n-gram模型虽然能有效捕捉短距离依赖，但随着n增大，参数空间呈指数增长，且无法建模长距离语义关系。这种基于统计的方法为后续神经网络语言模型奠定了基础。

语言模型是用于计算词序列合理性的概率模型，起源于语音识别领域，现已广泛应用于自然语言处理任务。它通过估计序列联合概率或预测下一个词分布，实现文本生成、机器翻译、语音识别、文本纠错等功能。现代大型语言模型（如GPT、LLaMA）具备语法、语义和上下文理解能力，能生成流畅自然的文本并消除歧义。核心应用包括：1）文本生成（对话、写作）；2）机器翻译（判断目标语言流畅性）；3）语音识别（候选排序与谐音消除）；4）文本纠错（拼写语法检查）。语言模型已成为理解和生成自然语言的基础工具。

本文梳理了自回归模型到大语言模型（LLM）的技术演化。文章指出：传统 AR/ARIMA 通过“利用过去预测未来”奠定序列建模基础；RNN/LSTM 继承自回归思想并增强非线性表达；Transformer 则以注意力机制突破长依赖限制，并在因果 Mask 下继续采用自回归训练。最终，现代 LLM 本质上仍是自回归序列模型的规模化进化。理解自回归，是理解 LLM 的关键起点。