自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(138)
  • 收藏
  • 关注

原创 PEFT 0.21.2 源码解析:PeftModelForCausalLM 对象核心属性、函数与常用操作

基于 PEFT 0.21.2 源码,梳理 PeftModelForCausalLM 的核心属性与方法:从继承结构与 getattr 转发讲清成员来源,重点拆解“激活 ≠ 启用”的 adapter 状态体系与 set_adapter / disable_adapter / merge_and_unload 等常用操作,附 generate 底层机制与使用避坑要点。

2026-11-08 10:00:00 187

原创 PEFT 0.21.2 源码解析:AutoPeftModel*.from_pretrained() 参数详解与常用操作

本文基于 PEFT 0.21.2 版本,深入解析 AutoPeftModel 系列类的 from_pretrained 方法。通过对比 PeftModel 与 AutoPeftModel 的加载机制差异,文章从源码层面拆解了该方法的完整函数签名、8 个核心参数的具体含义及其在底层源码中的传播链,重点阐述了其“自动推断基座模型”、“安全沙箱(import_allowlist)”以及“Tokenizer 自动扩容”等关键特性。此外,文中还提供了最简推理、量化加载、第三方库兼容及断点续训等常用操作示例,旨在帮助开

2026-11-07 15:46:40 265

原创 PEFT 0.21.2 PeftModel*.from_pretrained() 参数源代码逐个解析

基于 PEFT 0.21.2 版本源代码,逐一解析 PeftModel.from_pretrained() 的全部约 10 个参数,覆盖函数签名、输入输出与每个参数的类型、默认值及底层行为。附五个实战示例:基础推理加载、断点续训(is_trainable=True)、多适配器热切换、配合量化模型加载、从 HF Hub 子目录加载,文末整理 Missing Keys 警告、Prompt Learning 训练限制、磁盘卸载仅支持 safetensors 等常见避坑点。

2026-11-06 10:00:00 635

原创 TRL 1.15.0 SFTTrainer 实例详解:sft_trainer 常用属性/方法及 save_model 保存状态解析

本文基于 TRL 1.15.0 源码,系统梳理 `SFTTrainer` 实例化对象 `sft_trainer` 的继承关系(MRO)与常用属性、方法:先说明其可调用 `SFTTrainer`、`_BaseTrainer`、`Trainer` 三层的全部能力,再按来源分层列出通用属性、SFT 专属属性、公开 API、训练钩子及日常速查清单,帮助读者快速定位 `args`、`state`、`model`、`accelerator`、`train/evaluate/predict`、`save_model`、`

2026-11-05 10:45:00 229

原创 TRL 1.15.0(10 月 8 日发布)SFTTrainer 源码解析:全网首批新版详解

TRL 1.15.0 于 2026 年 10 月 8 日正式发布,本文为全网首批基于该版本源码的 SFTTrainer 系统性解析。文章先厘清 SFTTrainer 与 transformers.Trainer 的继承关系,再完整给出并逐条详解其 15 个构造参数(model、args、peft_config、quantization_config、formatting_func 等)的类型、默认值与约束条件;随后覆盖纯文本、对话、prompt-completion、预 tokenize 四种数据格式的自动

2026-11-04 10:15:00 386

原创 PEFT 0.21.2(2026年10月):get_peft_model() 全 7 参数源码解析与避坑指南

PEFT 0.21.2(2026 年 10 月发布)是 Hugging Face 参数高效微调库的最新版本,本文基于该版本源码,逐项解析 get_peft_model() 全部 7 个参数:从 model、peft_config 的注入逻辑,到 adapter_name 的多适配器命名规则、mixed 混合适配器模式、autocast_adapter_dtype 对训练稳定性的影响,以及 low_cpu_mem_usage 与 EVA 初始化的内存联动;并辨析 get_peft_model 与 add_ad

2026-11-03 10:00:00 383

原创 PEFT 0.21.2(2026.10发布)首发源码解析:LoraConfig 40+参数速查手册

本文基于 2026 年 10 月刚发布的 PEFT 0.21.2 源码,对 LoraConfig 的 40 余个参数进行逐项梳理,重点整理新版中的参数变化、新增 LoRA 变体与初始化策略,并附上常用配置示例和互斥依赖说明。网上多数 LoraConfig 教程仍基于旧版 PEFT,本文旨在帮助读者快速了解 0.21.2 的最新配置方式,同时也作为一次源码阅读与版本跟进实践。

2026-11-02 13:23:47 197

原创 TRL 1.15.0 源码解析:SFTConfig 参数详解与 packing/padding_free 实践避坑

本文基于2026年10月8日发布的 TRL 1.15.0 最新源码,对 `SFTTrainer` 所使用的 `SFTConfig` 配置类进行系统梳理,说明其继承自 `TrainingArguments` 的关系、对默认值的覆盖情况,以及约 22 个 SFT 专属参数的签名与语义。文章按模型控制、数据预处理、训练控制和已弃用参数分类逐项解析,重点讨论 `packing`、`padding_free` 与 `max_length` 三者的职责边界和常见报错原因,并给出基础 SFT、MoE 微调、显存优化等场景

2026-11-01 10:00:00 444

原创 Transformers 5.19.0 源码解析:GenerationConfig 参数详解与 model.generate()结合

本文基于发布不久的 Transformers 5.19.0 源码,对 `model.generate()` 所依赖的 `GenerationConfig` 参数进行系统梳理,覆盖输出长度控制、采样与束搜索策略、KV Cache 配置、logits 处理、特殊 token、输出内容控制以及辅助生成等常用与进阶参数,并结合 `model.generate(generation_config=config)` 的调用方式给出实践示例和常用参数速查。文章以源码阅读笔记的形式整理新版参数语义与默认值,帮助读者快速了解

2026-10-31 13:51:21 260

原创 Transformers 5.19.0 源码解析:model.generate () 参数、输出与生成示例

本文基于 HuggingFace Transformers 5.19.0 源码,以 Qwen3.5 模型为实例,聚焦 `GenerationMixin` 提供的 `model.generate()` 自回归生成方法,完整梳理函数签名、全部入参含义、参数优先级与返回值类型,详细讲解贪心搜索、采样、束搜索、辅助解码等多种解码策略,辨析 `max_new_tokens` 与 `max_length` 等易混淆长度参数,同时介绍 `logits_processor`、`stopping_criteria`、`str

2026-10-30 10:00:00 216

原创 Transformers 5.19.0 源码解析:model 对象(以 Qwen3.5 为例)、继承关系与核心 API全解

本文基于 HuggingFace Transformers 5.19.0 版本,以 Qwen3.5 模型为实例,从源码层面解析 AutoModelForCausalLM 加载后得到的 model 对象,梳理模型类完整的继承链条,拆解核心父类提供的关键属性与对外 API,区分模型本身、PreTrainedModel、GenerationMixin 等模块各自承担的职责,理清模型初始化、权重加载、前向推理、生成调用背后的调用关系,帮助读者跳出调包使用的层面,理解大模型封装底层逻辑,为后续开展 LoRA 微调、D

2026-10-29 13:39:12 259

原创 Transformers 5.19.0 源码解读:AutoModelForCausalLM.from_pretrained 完全指南

本文基于 transformers 5.19.0 源码,系统梳理 `AutoModelForCausalLM.from_pretrained()` 的参数来源与完整调用链,说明为何 Auto 类签名较短、完整参数定义在 `PreTrainedModel.from_pretrained()` 中,并按模型来源、下载控制、精度与设备、量化、分布式、PEFT、GGUF、安全与内核优化等分组详解约 36 个参数,结合最简加载、本地加载、GPU 加速、4bit 量化、加载信息调试等示例,总结 `dtype` 与 `t

2026-10-28 10:00:00 342

原创 Transformers 5.19.0 源码解读:apply_chat_template 方法全解析

本文基于 transformers 5.19.0 源码,梳理 `tokenizer.apply_chat_template()` 的完整签名、核心参数、输入输出与常见避坑点,并结合示例说明新版行为差异,适合关注 Transformers 更新、对话模板与源码阅读的读者参考。

2026-10-27 13:09:18 270

原创 Transformers 5.19.0 源码阅读:AutoTokenizer.decode() 原生批处理与 BPE 空格清理陷阱

本文基于近期发布的 transformers 5.19.0 源码,梳理 `AutoTokenizer.decode()` 这一文本解码公开入口的函数签名、输入类型与单条/批次判断逻辑,重点分析 `skip_special_tokens` 参数以及通过 `**kwargs` 透传的 `clean_up_tokenization_spaces` 在 BPE 分词器下默认被忽略的源码原因,并说明 `decode()` 与 `batch_decode()`、`convert_ids_to_tokens()`

2026-10-26 10:00:00 432

原创 Transformers 5.19.0 首发源码研读:Tokenizer.call() 核心机制与实战验证

本文基于近期发布的transformers 5.19.0源码,梳理 `AutoTokenizer.__call__()` 这一 Tokenizer 核心入口的完整函数签名与关键参数,包括 `padding`、`truncation`、`max_length`、`stride`、`return_tensors`、`return_offsets_mapping` 等,并说明其输出 `BatchEncoding` 的结构与常用能力。文章同时对比 `__call__()` 与 `encode()` 的差

2026-10-25 18:56:26 353

原创 (已解决)obsidian尖括号<>导致不能实时渲染问题——超简单!

已解决obsidian尖括号括号导致不能实时渲染

2026-10-24 18:28:41 519

原创 Transformers 5.19.0 源码:文本 ↔ token ↔ id 转换链,8 个 Tokenizer 函数各管哪一段?

基于 transformers 5.19.0 源码,把 tokenizer 的编解码函数还原到「文本 ↔ token ↔ id」转换链上逐一辨析:谁只切词、谁做 id 映射、谁一步直达、谁只是封装,附调用链图、源码实现与汇总表,并提示 BPE 模型下 clean_up_tokenization_spaces 会被忽略的坑。结论:日常只需记住 4 个——编码用 __call__ 或 apply_chat_template,解码用 decode,其余仅调试用。

2026-10-24 10:00:00 197

原创 Transformers 5.19.0 发布两周,我读完了 Tokenizer 源码:这几处值得注意

本文基于 2026 年 10 月 7 日发布的 Transformers 5.19.0 源码,对 Tokenizer 模块进行了一次系统性的源码阅读与梳理。文章以 Qwen3.5-2B 模型的 `AutoTokenizer` 加载流程为切入点,逐层拆解了 `Qwen3_5Tokenizer` → `TokenizersBackend` → `PreTrainedTokenizerBase` → `PushToHubMixin` 的四层类继承体系,并按层级整理了各层的核心方法、属性及其覆盖(Override)

2026-10-23 15:22:28 201

原创 Transformers 5.19.0(2026-10-07 发布):AutoTokenizer.from_pretrained() 源码级解读与 31 个参数详解

本文基于 2026-10-07 发布的 Transformers 5.19.0 源码,系统解析 `AutoTokenizer.from_pretrained()` 的完整调用链与 31 个参数:先说明 AutoTokenizer 的作用、分词器所需文件及参数来源,再给出路由层与 `PreTrainedTokenizerBase` 合并后的完整函数签名,随后按“来源与下载控制、路由与后端、特殊格式、安全与远程代码、透传 `__init__` 参数、已废弃参数”分组逐项详解,并补充输入输出总结、Hub/本地加载

2026-10-22 10:00:00 501

原创 Transformers 5.19.0(2026-10-07 发布):Trainer 源码解析、参数详解与避坑指南

本文基于 Transformers 5.19.0 版本,深入剖析 HuggingFace Trainer 的核心架构与底层运行机制,对 13 个关键训练参数进行逐行源码级拆解,并结合大模型微调的实际工程场景,系统梳理常见报错与性能瓶颈的避坑指南,旨在帮助开发者跳出简单的 API 调用,从源码维度彻底掌握 Trainer 的定制化训练能力,提升深度学习模型的实战落地效率。

2026-10-21 13:38:34 250

原创 Transformers 5.19.0 (10月7日发布):TrainingArguments 112个参数源码级详解与实战避坑

本文基于 Transformers 5.19.0 源码,系统解析 `TrainingArguments` 约 112 个配置字段,按输出、训练时长与 batch size、学习率调度、优化器、混合精度、梯度检查点、日志评估、保存与 Hub 推送、分布式训练等模块逐项说明参数含义、默认值与使用场景,并重点对比 `adamw_torch`、`adamw_torch_fused`、`adamw_8bit` 等优化器选择,讨论显存碎片化、`auto_find_batch_size`、`gradient_checkp

2026-10-18 11:28:22 130

原创 【模型蒸馏实战项目:第一部分】词表构建、BERT 教师、离线 logits 保存与 DistilBERT 学生模型

本文是“模型蒸馏实战项目”系列的第一部分,主要介绍从词表构建到离线蒸馏数据准备的全流程。内容涵盖使用 sorted 按词频构建学生模型词表、基于 BERT 搭建教师模型并在新闻标题10分类任务上训练与测试、通过教师模型推理生成并保存 [N, 10] 的 logits 软标签、利用 PyTorch 构建包含文本、真实标签与教师 logits 的 Dataset 及配套 DataLoader,以及 DistilBERT 学生模型的结构介绍与获取方式。文章重点讲解了离线蒸馏中 logits 的二进制保存与索引对齐

2026-09-30 19:45:17 296

原创 万字长文:模型蒸馏全解析——从软标签、KL散度到多教师/自蒸馏,一文搞懂大模型知识蒸馏

本文系统解析模型蒸馏(知识蒸馏)的核心原理与完整流程,从“教师模型生成软标签”出发,深入讲解温度系数 T 如何软化概率分布、硬损失与蒸馏损失的计算、KL 散度的直观理解、蒸馏损失为何要乘 T²、总损失中 α 的平衡作用,以及多损失路径梯度累加机制;同时探讨小模型为何能学会大模型本事,并全面对比响应式、特征式、关系式、在线、自蒸馏与多教师等主流蒸馏方法及其效果。无论你是想入门大模型压缩、准备面试,还是希望在边缘设备部署高效模型,本文都能帮你建立从理论到实践的完整知识框架。

2026-09-18 18:54:51 345

原创 理解深度学习模型量化:从仿射量化原理到工业级推理部署

本文系统讲解深度学习模型量化,从 FP32 到 INT8/INT4 的基本概念与价值入手,说明量化如何以有损压缩换取更小体积、更快推理和更低功耗;随后深入仿射量化原理,解释 scale、zero-point、对称/非对称量化及校准方法;最后剖析量化后模型推理流程,说明矩阵乘法等核心计算如何保持整数流,而 Softmax、LayerNorm 等精度敏感算子为何需要临时反量化,并结合训练后量化、量化感知训练、动态量化以及 TensorRT、GPTQ、AWQ 等工业级方案,帮助读者建立从量化原理到推理部署的完整认

2026-09-13 13:07:32 199

原创 【TorchMetrics精通系列⑤】F1Score源码级拆解:工厂模式、多维聚合策略与输入输出详解

本文作为TorchMetrics精通系列的收官之作,从源码层面深度拆解F1Score的实现机制,系统解析其基于工厂模式的任务路由逻辑、micro/macro/weighted等多维聚合策略的适用场景与数学本质,并详细梳理二分类、多分类、多标签任务下输入张量的形状契约、dtype约束及输出规范,辅以完整代码示例与Shape对照表,帮助开发者彻底掌握F1分数在模型评估中的正确使用方式与底层原理,为构建可靠、可复用的深度学习评估体系提供实战参考。

2026-08-16 19:26:02 322

原创 【TorchMetrics精通系列④】MetricCollection详解:多指标统一管理、计算组优化与模型评估实战

本文作为TorchMetrics精通系列第四篇,系统详解MetricCollection容器的核心机制与工程实践,涵盖其统一接口设计、智能参数路由、计算组优化及状态持久化等关键特性,并结合多分类模型评估实战,演示如何将混淆矩阵、Accuracy、ClasswiseWrapper等多类指标高效整合管理,实现一键更新、批量计算与结果字典化输出,同时提供PyTorch Lightning集成范式与嵌套使用技巧,帮助开发者构建简洁、高效且可扩展的模型评估流程。

2026-08-12 19:43:51 330

原创 cmd/命令窗口的监控小工具——CPU/内存实时看板,无闪烁、可定制、随叫随到

本文介绍如何在Windows命令行中实现一个轻量级系统监控面板,实时显示CPU使用率、内存占用、处理器型号等关键指标。工具支持中文对齐、彩色阈值提示、无闪烁刷新,显示内容完全可自定义,并通过bat脚本配置环境变量实现全局一键唤起。核心代码不足百行,无需GUI依赖,适合追求极简与可控性的开发者快速搭建专属系统状态看板。

2026-08-03 18:18:18 197

原创 【TorchMetrics精通系列③】模型评估进阶:ClasswiseWrapper 实战与多分类细粒度指标深度解析

本文作为TorchMetrics精通系列第三篇,聚焦多分类模型评估中的细粒度指标分析,系统讲解如何通过average=None参数与ClasswiseWrapper包装器获取每个类别的独立性能指标。文章深入解析了ClasswiseWrapper的完整函数签名、键名生成规则及版本差异,并结合MetricCollection与PyTorch Lightning展示了工程化最佳实践,帮助开发者精准定位模型短板、避免评估盲区,实现从“整体平均”到“逐类洞察”的评估能力进阶。

2026-07-21 21:16:10 429

原创 【TorchMetrics精通系列②】混淆矩阵:归一化陷阱、TP/FP推导与10分类文本热力图分析

本文是TorchMetrics精通系列的第二篇,聚焦于分类模型评估中最核心的工具——混淆矩阵。文章从混淆矩阵的基本概念出发,用“横真竖预”四字口诀帮你彻底厘清行列含义,并深入讲解TorchMetrics中ConfusionMatrix的API用法、参数细节、输入输出格式,重点剖析了normalize归一化参数的三种模式(true/pred/all)及其背后的陷阱,同时手把手推导多分类场景下每个类别的TP/FP/FN/TN计算公式。最后结合10分类文本分类任务,展示如何利用内置plot方法生成热力图进行模型诊

2026-07-19 20:51:50 412

原创 【TorchMetrics精通系列①】核心设计哲学 + Accuracy 超详解

本文为【TorchMetrics精通系列①】,系统拆解TorchMetrics的核心设计哲学与Accuracy深度解析,内容涵盖Metric状态管理机制、API全景梳理、文本分类指标选型策略、自定义Metric开发范式及分布式训练同步避坑指南,旨在帮助算法工程师构建体系化评估能力,告别碎片化调包,实现从理论到工程落地的完整闭环。

2026-07-18 22:37:34 602

原创 【NLP文本分类实战】随机森林 + TF-IDF 完整流程,准确率82.5%(数据分析/分词/模型训练)

本文以18万条中文新闻数据为实战对象,完整复现了基于传统机器学习的NLP文本分类全流程。项目涵盖探索性数据分析(EDA)、jieba中文分词、停用词过滤、TF-IDF特征工程及随机森林模型训练与评估,最终在测试集上取得82.5%的准确率。文章重点记录了数据清洗细节、特征构建思路与多分类评估方法,而非单纯调参,旨在为NLP入门者提供一份可复现、重工程的Baseline实践参考,同时展示从原始文本到模型产出的完整落地能力。

2026-07-17 21:11:26 298

原创 TF-IDF算法详解与TfidfVectorizer全参数精讲:从原理到实战,避开数据泄露与稀疏矩阵陷阱

本文深入浅出地讲解了自然语言处理中的经典加权技术——TF-IDF(词频-逆文档频率),从数学原理出发,一步步拆解其计算逻辑与核心思想。随后,文章重点聚焦于 Scikit-learn 中的 TfidfVectorizer 工具,对其多达20余个参数进行了全方位的源码级解读,涵盖输入解码、分词控制、n-gram生成、停用词过滤、词表筛选以及IDF平滑与归一化等核心机制。

2026-07-16 22:13:38 245

原创 【NSP任务实战】BERT中文下一句预测从零实现,测试集准确率89.3%(PyTorch)

本文从零实现了基于BERT的中文下一句预测(NSP,Next Sentence Prediction)任务,使用PyTorch和HuggingFace Transformers框架完成完整实战。文章详细讲解了自定义Dataset的构建过程,包括正负样本的构造策略(随机替换下半句),并深入剖析了BERT处理句子对时全自注意力机制如何实现跨句信息交互,以及为什么NSP分类任务应使用pooler_output而非last_hidden_state。模型在测试集上取得89.3%的准确率,代码完整涵盖数据加载、训练、

2026-07-15 16:07:05 230

原创 【完形填空实战】BERT中文MLM微调:数据构造→训练→评估,有完整可运行代码

本文手把手带你完成一个基于BERT的中文完形填空(MLM)微调实战项目。文章从任务本质出发,详细讲解了MLM任务中“标签藏在句子内部”的核心认知,以及labels构造、attention_mask作用机制、张量视图与clone()的避坑指南等底层原理。代码基于PyTorch和Transformers库实现,涵盖数据预处理、自定义下游网络、模型训练与评估全流程,最终在测试集上达到约71.7%的预测准确率。全文代码规范、注释详尽,可作为简历项目直接展示,适合NLP入门及BERT微调练手。

2026-07-14 20:32:45 307

原创 【文本分类实战】基于BERT的中文文本分类全流程:自定义分类头+Datasets数据管道详解

本文基于 HuggingFace Transformers 和 Datasets 库,从零搭建了一个中文文本二分类任务(情感评论正负向判断)。完整涵盖了数据管道构建(自定义 collate_fn)、BERT 预训练模型加载、自定义 Linear 分类头设计、冻结 BERT 参数仅训练分类头的微调策略,以及模型训练与评估的全流程。代码结构清晰,注释详尽,适合作为 NLP 入门实战参考。

2026-07-13 14:03:56 241

原创 load_dataset 保姆级教程:从零开始,彻底搞懂 Hugging Face 数据集的加载、处理与API细节

本文是一篇关于 Hugging Face datasets 库核心函数 load_dataset 的保姆级教程。文章从零开始,首先用通俗易懂的类比帮你建立“数据加载”的底层认知;随后深入解析 load_dataset 的完整函数签名,逐一拆解 path、data_files、split、streaming 等核心参数的含义与用法。紧接着,文章针对实际项目中常见的“列名指定”和“多文件合并”难题给出了完整的避坑解决方案。更进一步,文章对 dataset.map() 方法进行了源码级的API详解,涵盖批处理、多

2026-07-12 17:56:25 894

原创 Transformers TokenClassification输出解析及AutoConfig原理探究(以中文NER为例)

本文深度剖析了Hugging Face Transformers库中TokenClassification(命名实体识别)任务的模型推理输出与配置系统。文章从outputs.logits张量形状[1, 29, 32]切入,详解Batch维度、序列长度与类别数的对应关系,并阐明logits取Argmax及id2label映射的底层逻辑。同时,系统探究了AutoConfig.from_pretrained独立加载与model.config内嵌属性两种配置访问方式的异同,覆盖config.json核心字段(mod

2026-07-11 11:09:37 343 1

原创 BART文本摘要任务:从Tokenizer输出解析到generate()参数优先级全解

本文以DistilBART-CNN模型为例,系统梳理了Hugging Face Transformers中Seq2Seq文本摘要任务的完整推理流程。文章首先解析了Tokenizer输出中token_type_ids缺失的底层原因,厘清了BERT与BART在架构设计及输入表示上的本质差异;随后对model.generate()的核心参数体系进行了分类详解,涵盖解码策略选择、长度控制、随机性调节及重复惩罚等关键机制;进一步阐述了generation_config.json与config.json的职责分离设计及

2026-07-10 10:35:36 366

原创 BERT抽取式问答实战:输入结构、Logits解码与中文空格处理避坑指南

本文基于RoBERTa-wwm-ext-large模型,系统梳理BERT抽取式问答(MRC)实战中的三大核心环节与常见陷阱:① 详解[CLS]+问题+[SEP]+上下文+[SEP]输入铁律及无答案时的[CLS]兜底机制;② 深入解析Start/End Logits的物理含义、形状来源及合法答案的后处理校验逻辑;③ 揭秘中文Tokenizer解码产生空格的底层成因,并给出.replace(' ', '')标准修复方案。全文附完整可运行代码与逐行注释,旨在帮助NLP开发者避开工程落地坑点,真正理解Transfo

2026-07-09 10:19:57 354

原创 彻底搞懂BERT预训练:MLM掩码语言模型原理、Logits输出形状与Tokenizer解码全流程详解与PyTorch实战

本文系统梳理BERT预训练中MLM(掩码语言模型)任务的全流程细节。首先从“完形填空”直觉出发,深入解析自监督学习范式下Loss的计算机制与15%掩码策略的设计原理;其次白盒化拆解双向注意力机制,阐明[MASK]作为普通Token参与计算的本质,并对比其与GPT自回归预测的核心差异;最后结合PyTorch与HuggingFace Transformers库,完整演示推理代码实战,重点详解Logits输出形状含义、Tokenizer.decode解码逻辑及torch.nonzero定位掩码位置等工程细节。全文

2026-07-08 11:31:00 378

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除