第十六节 huggingface的trainner的_inner_training_loop函数源码解读(step)

已于 2024-06-01 21:27:11 修改
阅读量750 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 多模态大模型教程(基于LLAVA模型) 文章标签： huggingface traner training_step optimizer.step on_step_end 大模型
于 2024-05-29 22:46:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_38252409/article/details/139168463
本篇博客详细解读了Huggingface Trainer的_inner_training_loop函数中的step内循环训练源码，包括内循环前参数、训练step的源码及训练过程中的关键步骤，如模型训练、损失处理、梯度累积、优化器和学习率调度器的更新、权重保存等。通过对源码的深入剖析，有助于理解Trainer在训练大模型时的内部运作机制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

前言

在huggingface中，有关trainer内容实在太多了，想完整给出trainer相关内容需要多篇文章来阐明。我想了想，我将布局6篇文章来构建有关内容。第一篇文章介绍TrainingArguments与trainner参数；第二篇文章给出一个完整Demo，并介绍trainner(train与_inner_training_loop)源码的整体结构，呈现一个整体框架；第三篇文章介绍(_inner_training_loop)给出数据构造、优化器构建方法源码解读；第四篇篇文章介绍(_inner_training_loop)中epoch外循环训练相关源码解读；第五篇文章介绍(_inner_training_loop)中step内循环训练相关源码解读；第六篇文章介绍Resume方法内容，包含继承数据、继承优化器、继承模型等实现完整断点续训功能。 而本篇为第五篇文章，主要解读huggingface的trainer的_inner_training_loop的step内循环训练相关源码内容。

第一篇文章链接
第二篇文章链接
第三篇文章链接

了解本专栏 订阅专栏 解锁全文 超级会员免费看
hugging face 使用教程———快速入门
TigerZ*的博客
07-24 1万+
本篇存在的意义是快速介绍hugging face使用，梳理主要部件，梳理易混淆概念。原因是：目前hugging face的使用，官方放在了3个地方（参考链接部分）：使用文档、NLP教程、Transformers git的readme 文件，很多重叠内容比较浪费时间，很容易看懵。等大家有了主要概念再去看需要具体看某个函数或功能。
第三章：huggingface的Trainner参数解读
weixin_38252409的博客
06-14 502
大模型基本使用huggingface来实现。对于不太理解其内容基本按照官网教程或相关博客等来实现。想进一步激发开源大模型在行业领域提升性能是棘手问题。该问题会涉及开源代码二次开发进行实验测试。基于此，本教程不同文字或理论介绍内容，而从源码解读其训练逻辑、权重保存、高效微调方法(LoRA)、断点续训方法、模型推理权重处理等方法。本教程所有内容完全依托huggingface源码与相关Demo验证来解读，助力大模型使用。
huggingface的generate推理源码解读
weixin_38252409的博客
07-30 1096
大语言模型基本使用huggingface的generate方法进行推理。而我最近也在使用llama3代码，于是我写下一份huggingface的generate方法，帮助读者了解huggingface如何对大语言模型进行推理。同样，我和其它博客不太一样，我是按照源码来解读huggingface的generate方法。
开源项目教程：Hugging Face 竞赛
gitblog_00242的博客
09-02 333
开源项目教程：Hugging Face 竞赛 1. 项目的目录结构及介绍 competitions/ ├── README.md ├── setup.py ├── requirements.txt ├── competitions/ │ ├── __init__.py │ ├── main.py │ ├── config.py │ ├── utils.py │ └── data...
Huggingface-4.8.2自定义训练
qq_38642635的博客
07-16 8643
Huggingface走到4.8.2这个版本，已经有了很好的封装。训练一个语言网络只需要调用Trainer.train(...)即可完成。如果要根据自己的需求修改训练的过程，比如自定义loss，输出梯度，直接修改huggingface的源码显然是不可取的了。好在huggingface提供了相应的接口，让我们可以深入到训练过程中，加入自定义的内容。根据官方的教程，有两种推荐的方法： 重载trainer中的方法，将其修改为我们需要的内容。比如trainer.compute_loss()这个函数，它定义了如何计
第十四节 huggingface的trainner的_inner_training_loop函数源码解读
weixin_38252409的博客
05-15 1203
在huggingface中，有关trainer内容实在太多了，我将布局6篇文章来构建有关内容。第一篇文章介绍参数；第二篇文章给出一个完整Demo，并介绍trainner源码的整体结构，呈现一个整体框架；第三篇文章介绍给出数据构造、优化器构建方法源码解读；第四篇篇文章介绍epoch外循环训练相关源码解读；第五篇文章介绍step内循环训练相关源码解读；第六篇文章介绍Resume方法内容，包含继承数据、继承优化器、继承模型等实现完整断点续训功能。 而本篇为第三篇文章，主要解读优化器与数据相关源码内容。
第十五节 huggingface的trainner的_inner_training_loop函数源码解读(epoch)
weixin_38252409的博客
05-24 377
在huggingface中，有关trainer内容实在太多了，我将布局6篇文章来构建有关内容。第一篇文章介绍参数；第二篇文章给出一个完整Demo，并介绍trainner源码的整体结构，呈现一个整体框架；第三篇文章介绍给出数据构造、优化器构建方法源码解读；第四篇篇文章介绍epoch外循环训练相关源码解读；第五篇文章介绍step内循环训练相关源码解读；第六篇文章介绍Resume方法内容，包含继承数据、继承优化器、继承模型等实现完整断点续训功能。 而本篇为第四篇文章，主要解读epoch外循环训练相关源码内容。
第六章：huggingface的_inner_training_loop源码与流程解读
weixin_38252409的博客
06-14 430
大模型基本使用huggingface来实现。对于不太理解其内容基本按照官网教程或相关博客等来实现。想进一步激发开源大模型在行业领域提升性能是棘手问题。该问题会涉及开源代码二次开发进行实验测试。基于此，本教程不同文字或理论介绍内容，而从源码解读其训练逻辑、权重保存、高效微调方法(LoRA)、断点续训方法、模型推理权重处理等方法。本教程所有内容完全依托huggingface源码与相关Demo验证来解读，助力大模型使用。
第十一章：_inner_training_loop训练模型的内循环内容(step——training_step)
weixin_38252409的博客
06-14 325
本教程不同文字或理论介绍内容，而从源码解读其训练逻辑、权重保存、高效微调方法(LoRA)、断点续训方法、模型推理权重处理等方法。本教程所有内容完全依托huggingface源码与相关Demo验证来解读，助力大模型使用。 本篇文章基于基于上一章_inner_training_loop源码与流程，本章继续展开 _inner_training_loop源码的step内循环的training_step模块与loss模块内容的源码与流程解读。
HuggingFace——Trainer的简单使用
c___c18的博客
10-30 7707
HuggingFace——Trainer的简单使用
第五章：huggingface的Trainer.train()源码与流程解读
weixin_38252409的博客
06-14 1059
大模型基本使用huggingface来实现。对于不太理解其内容基本按照官网教程或相关博客等来实现。想进一步激发开源大模型在行业领域提升性能是棘手问题。该问题会涉及开源代码二次开发进行实验测试。基于此，本教程不同文字或理论介绍内容，而从源码解读其训练逻辑、权重保存、高效微调方法(LoRA)、断点续训方法、模型推理权重处理等方法。本教程所有内容完全依托huggingface源码与相关Demo验证来解读，助力大模型使用。
三菱图形操作终端连接手册（非三菱产品1）.pdf
08-03
三菱图形操作终端连接手册（非三菱产品1）.pdf
【基于RESTful设计的高性能API接口实战开发：用户管理与权限控制系统全流程详解】
08-03
内容概要：本文档介绍了基于RESTful设计的高性能API接口的实战开发案例，涵盖从设计、开发、权限控制、性能优化到测试与文档自动化等环节。项目以用户管理与权限控制系统为例，采用Node.js + Express.js作为后端框架，MongoDB为数据库，Mongoose管理数据模型，严格遵循RESTful风格的接口设计，定义了标准HTTP动作对应的操作。安全性方面，实现了JWT认证机制和基于角色的访问控制(RBAC)，确保接口安全。性能优化措施包括Redis缓存热点数据、接口请求频率限制、Winston和Morgan日志系统。开发调试借助Postman和Swagger UI，支持自动生成接口文档，提高前后端协作效率。部署方案利用Docker、Nginx、GitHub Actions等技术实现自动化部署，ELK用于日志收集与分析。; 适合人群：有一定编程基础，尤其是对API开发感兴趣的开发者和系统架构师。; 使用场景及目标：①学习RESTful风格的API设计原则；②掌握API的安全机制，如JWT认证和RBAC；③了解性能优化方法，如缓存和限流；④熟悉API开发的完整流程，包括测试、文档管理和部署。; 阅读建议：本案例详细描述了API开发的各个环节，建议读者按照文档顺序逐步学习，重点理解各部分的技术细节和实现原理，同时结合实际项目进行实践。
Canvas实现两张图片合成操作
08-03
资源下载链接为： https://pan.quark.cn/s/d9ef5828b597 Canvas实现两张图片合成操作
【电子设计竞赛】2025电赛D题全解：声音定位系统设计与实现详解
08-03
内容概要：本文详细解析了2025年全国大学生电子设计大赛D题——声音定位系统，从赛题要求、系统架构、硬件选型、算法选择到软件代码实现进行了全面阐述。赛题要求设计一个声音定位系统，包括声响模块、声音接收模块和信息处理模块。声响模块负责产生500Hz的声音信号，声音接收模块通过麦克风和放大电路接收声音信号，信息处理模块则根据声音传播的时间差计算声响模块的位置坐标，并显示出来。发挥部分还包括提高定位精度、连续跟踪显示坐标值和显示移动轨迹。文中还介绍了开发环境搭建、关键代码实现以及常见问题的解决方法。 适合人群：具备一定电子设计基础的大学生、电子设计爱好者和参赛选手。 使用场景及目标：①帮助参赛者理解赛题要求，掌握声音定位系统的设计和实现方法；②提升参赛者的电子设计能力和编程水平，为比赛做好准备；③通过实际项目锻炼创新思维和实践能力，积累宝贵的经验。 其他说明：本文不仅涵盖了硬件选型、电路设计、算法选择等技术细节，还提供了详细的代码实现和优化建议，有助于读者全面掌握声音定位系统的开发过程。此外，文章还强调了电子设计竞赛的重要性，鼓励读者积极参与，探索电子设计的无限可能。
基于FreeRTOS实时操作系统的STM32F103CBT6多功能无线遥控器开发项目_包含MPU6050陀螺仪数据采集_NRF24L01无线通信模块_096寸OLED显示屏_I2.zip
08-03
基于FreeRTOS实时操作系统的STM32F103CBT6多功能无线遥控器开发项目_包含MPU6050陀螺仪数据采集_NRF24L01无线通信模块_096寸OLED显示屏_I2
(完整版)安全知识竞赛试题（含完整答案）.pdf
08-03
(完整版)安全知识竞赛试题（含完整答案）.pdf
基于JavaScript的PDF文档生成与处理工具_支持中文文本排版_包含字体嵌入_表格绘制_图片插入_分页控制_水印添加_书签生成_加密保护_表单填写_条形码生成_二维码嵌入_多.zip
08-03
基于JavaScript的PDF文档生成与处理工具_支持中文文本排版_包含字体嵌入_表格绘制_图片插入_分页控制_水印添加_书签生成_加密保护_表单填写_条形码生成_二维码嵌入_多
基于网格图的单机器人路径规划，采用ACO、ACO+GA、SSA、ISSA算法.zip
最新发布
08-03
1.版本：matlab2014a/2019b/2024b 2.附赠案例数据可直接运行。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
_inner_dict
06-07
### 关于 `_inner_dict` 的用法及含义 在 Python 中，`_inner_dict` 并不是一个内置的或官方文档中明确定义的标准对象或属性。通常，带下划线（如 `_` 或 `__`）的名称表示该对象是内部使用的，或者是实现细节的一部分。具体到 `_inner_dict`，它可能是某些库、框架或自定义代码中的一个私有变量或方法。 以下是一些可能的情况和解释： 1. **作为内部实现细节** 在某些情况下，`_inner_dict` 可能是一个类的私有属性，用于存储对象的内部状态或其他数据结构。例如，在某些复杂的数据结构实现中，可能会使用 `_inner_dict` 来保存实际的数据内容。这种设计通常是为了隐藏实现细节，并防止外部直接访问或修改数据[^4]。 ```python class CustomObject: def __init__(self): self._inner_dict = {} def add_item(self, key, value): self._inner_dict[key] = value def get_item(self, key): return self._inner_dict.get(key) ``` 2. **与缓存或优化相关** 如果 `_inner_dict` 出现在与缓存相关的上下文中，它可能用于存储缓存的结果。结合引用[2]的内容，可以推测 `_inner_dict` 可能类似于 `lru_cache` 的内部实现，用于存储已计算的结果以提高性能[^2]。 3. **特定库或框架中的使用** 某些第三方库或框架可能在其内部实现中使用了 `_inner_dict`。例如，在深度学习框架 PyTorch 中，虽然没有直接提到 `_inner_dict`，但类似的概念可能出现在模型参数的存储或优化器的状态管理中（参考引用[1]）。在这种情况下，`_inner_dict` 可能用于存储模型的权重、梯度或其他相关信息[^1]。 4. **动态生成的字典** 在某些动态编程场景中，`_inner_dict` 可能是一个动态生成的字典，用于存储运行时的信息。例如，在元编程或装饰器中，可能会使用 `_inner_dict` 来存储函数的额外信息或状态[^3]。 ### 示例代码 以下是一个简单的示例，展示如何在类中使用 `_inner_dict` 作为私有属性： ```python class DataContainer: def __init__(self): self._inner_dict = {} def set_data(self, key, value): self._inner_dict[key] = value def get_data(self, key): return self._inner_dict.get(key) # 使用示例 container = DataContainer() container.set_data("key1", "value1") print(container.get_data("key1")) # 输出: value1 ``` ### 注意事项 - 带前缀下划线的名称（如 `_inner_dict`）通常表示私有属性或方法，不建议在外部直接访问或修改。 - 如果在特定库或框架中遇到 `_inner_dict`，需要查阅该库的源码或文档以了解其具体用途。 - 如果 `_inner_dict` 是某个自定义代码中的实现细节，则需要查看相关代码的上下文以确定其作用。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

tangjunjun-owen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值