- 博客(8)
- 收藏
- 关注
RSS订阅原创 开源MiniMind预训练阶段
本章解析预训练训练循环：模型通过自监督预测下一 token 学习；核心是模型、数据、优化器准备及训练步中的学习率余弦退火、梯度累积、梯度裁剪与混合精度。各阶段通过加载不同权重
2026-09-03 23:26:45
582
原创 几何时空与位置编码
<think>我们根据用户要求，从给定文本中生成一篇不超过150字的摘要。需要抓住核心内容：大模型的语义空间是稠密向量几何，位置编码（APE、RoPE、YaRN）对时间与结构的折叠，以及长度外推中频域处理与熵崩塌问题。输出应简洁概括，不展开细节。注意字数限制。</think>大语言模型的语义本质是高维稠密向量空间中的几何结构，位置编码通过折叠时空注入顺序信息：正弦编码（APE）以固定波纹标记位置，RoPE则让语义向量在时空中动态旋转。面对长度外推，线性内插导致分辨率下降与熵崩塌，YaRN通过按频率分组处理，
2026-09-02 02:32:48
655
1
原创 遗传算法（上）
本文以羚羊进化的类比引入，系统介绍遗传算法的基本原理与核心机制。内容涵盖种群、个体、适应度等核心概念，详细阐述选择、交叉、变异三个算子的功能与实现，并给出完整算法流程与伪代码。编码部分梳理了二进制、实数、排列三种常见方式。文章最后讨论了遗传算法的适用场景——适合搜索空间巨大、梯度缺失、接受近似解的问题，但不宜用于计算成本过高或已有精确解法的场合。整体为读者提供一份兼顾直观理解与实践参考的入门导览。
2026-08-27 00:36:13
960
原创 推理阶段的BPE
这篇文章详细介绍了BPE（字节对编码）推理阶段的编码和解码过程，重点讲解了编码阶段的核心思想和实现细节。主要内容包括： BPE推理阶段的核心思想：严格遵循训练时确定的合并优先级顺序，而不是重新统计当前文本中的频率。 encode函数的逐行解析： 将文本转换为UTF-8字节流 进入合并循环，直到无法合并 统计当前所有相邻对 寻找优先级最高的可合并对（rank最小的） 执行合并操作 必须按rank顺序合并的原因： 通过反例说明不按顺序合并会导致不同结果 训练时的顺序定义了合并优先级，推理时需保持一致 工程优化建
2026-08-22 02:02:26
393
原创 开源MiniMind 整体模块流程一览
本文详细解析了MiniMind语言模型的架构与代码实现，主要包含以下内容： 整体架构：输入token经过Embedding层转换为768维向量，通过8层相同的Transformer块处理，每层包含注意力机制和MLP，最后经线性层输出6400维词表分数。 关键配置：默认采用768维隐藏层、8个注意力头、4个KV头（GQA）、2432维中间层（π相关设计），总参数量约64M。包含RoPE位置编码（θ=1e6）和共享输入输出权重等设计。 核心组件： RMSNorm：简化版归一化层，避免数值不稳定 RoPE：通过旋
2026-08-20 17:28:23
347
原创 开源MiniMind 大语言模型的分词以及如何将文本转化为数字
摘要 本文介绍了自然语言处理中文本数字化的两个关键环节：分词器和数据管道。分词器采用字节级BPE算法，将文本切分为token并赋予编号，支持中英文混合处理，词表精简至6400个token以节省参数。特殊token如<|im_start|>用于标记对话结构，聊天模板将结构化对话转为模型输入格式。数据管道处理五种数据集：PretrainDataset预训练时自回归预测下一词；SFTDataset监督微调时只计算回答部分的损失；DPODataset偏好对齐比较好/坏回答；RLAIFDataset强化学习时由模型生
2026-08-19 23:10:32
385
原创 开源minimind模型，2小时完全从0训练64M的小参数LLM！
本文以预训练阶段为例，展示了数据从原始文件到训练模型的完整流程。核心内容包括：1）项目依赖关系图，说明模型主体与各训练脚本、工具模块的调用关系；2）数据流转路径，演示文本如何经过token化、张量化、前向传播最终计算loss；3）不同训练阶段的数据-模型-监督信号对应关系；4）关键设计如训练脚本统一架构、模型训练/推理双模式解耦；5）重要概念如检查点机制和随机种子设置。最后提出三个实践任务，引导读者深入理解模型初始化、loss计算和模块分工。全文通过架构图+代码定位+流程说明，系统呈现了LLM训练项目的组织
2026-08-18 22:11:03
208
原创 开源minimind模型，2小时完全从0训练64M的小参数LLM！
本文介绍了开源大语言模型项目MiniMind的核心概念与实现原理。项目从零开始使用PyTorch原生实现大语言模型全流程，不依赖高层抽象接口，旨在提供可复现、可理解的LLM实践教程。文章重点解析了6个关键概念：张量（数据结构）、矩阵乘法（核心运算）、嵌入（词向量表示）、Softmax（概率转换）、交叉熵损失（评估指标）和梯度下降（优化方法），并辅以PyTorch代码示例说明神经网络层的实现原理。项目通过模块化设计（如注意力机制和前馈网络）构建Transformer架构，采用AdamW优化器和余弦退火学习率调
2026-08-17 16:52:16
392
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人