创新实训日记八：大训练集上的模型训练

最新推荐文章于 2025-10-23 14:27:03 发布
原创 最新推荐文章于 2025-10-23 14:27:03 发布 · 487 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在多次尝试不同模型后，最终选定一模型，并在自制的较大规模数据集（6000个样本）上进行训练，以验证模型的泛化能力。

在经过之前几次模型的尝试后，我们最终选用了如下的模型结构作为我们最终的选择方案，之前的训练过程我们都是在小规模300个训练数据上进行的尝试，这一次在该模型上我们使用自制的规模稍大的数据集（四个人6000个训练数据）进行了模型的训练。
在这里插入图片描述

效果如下

在这里插入图片描述

《Python星球日记》 第58天：Transformer 与 BERT
Code_流苏：在代码中寻诗意，在实践中觅真知
05-12 1182
《Python星球日记》 第58天：Transformer 与 BERT，今天，我们将探索自然语言处理领域的革命性架构——Transformer，以及基于它的强大预训练模型——BERT。这些技术彻底改变了NLP领域，使机器能够更好地理解人类语言。无论你是想开发智能聊天机器人、情感分析系统还是自动翻译工具，Transformer和BERT都是必须掌握的核心技术。
《Python星球日记》 第71天：命名实体识别（NER）与关系抽取
Code_流苏：在代码中寻诗意，在实践中觅真知
05-14 1075
《Python星球日记》 第71天：命名实体识别（NER）与关系抽取，在自然语言处理（NLP）领域，理解文本中的实体及其关系是构建智能系统的基础。今天，我们将探索命名实体识别和关系抽取这两项核心技术，它们共同构成了信息抽取的重要环节，为知识图谱、智能问答和文本分析等应用提供关键支持。
全网最全-超大模型+分布式训练架构和经典论文
ZOMI酱
12-28 5389
全网最全的超大模型和分布式训练架构梳理，并附上经典论文简介。
如何训练一个大模型
xiangxueerfei的博客
06-14 1499
本篇我们根据Andrej Karpathy（安德烈·卡帕西）的专题演讲《State of GPT》来介绍GPT如何从“初始模型”（base model）一直训练成ChatGPT这样的“助手模型”（assistant model）。Andrej Karpathy是OpenAI的创始人之一，也是GPT大模型训练这个领域最有话语权的人之一，建议大家去看一下大佬的演讲视频（https://www.bilibili.com/video/BV1ts4y1T7UH）。
一文搞懂大模型训练全流程：从预训练到RLHF的完整指南！
最新发布
m0_65555479的博客
10-23 1474
本文详细解析了大语言模型(LLM)的训练原理，包括预训练、微调、强化学习和基于人类反馈的强化学习(RLHF)等核心技术。文章解释了预训练如何通过海量无标注数据建立模型通用知识，微调如何针对特定任务优化模型，以及RL和RLHF如何通过反馈机制提升模型性能。还介绍了大模型训练的完整流程和各步骤的技术细节，帮助读者理解大模型从基础构建到实用化的全过程。
详解大模型PPO、DPO的训练过程
热门推荐
Antai_ZHU的博客
07-10 1万+
AI因你而升温，记得加个星标哦！大家好，我是泰哥。距离上次写技术贴已经1年有余，这一年当中算法技术的发展可以说是日新月异。今天和大家聊聊大模型的训练的三个阶段，分别为有监督学习（SFT）、奖励模型训练（RW）与强化学习（PPO）阶段，我对以上的训练过程会加上一些自己的理解。GPT使用Transformer decoder部分作为语言模型的框架，并将decoder中的Multi-head Attention层删除，其结构和计算过程如上图。
大模型训练
changjiangshui的博客
08-30 634
大型模型训练指的是利用大量数据和计算资源进行深度学习模型的训练过程。实现大模型训练通常需要高性能计算硬件和大规模数据集，例如大型GPU群集和分布式存储系统。大型模型训练的主要挑战包括数据预处理、模型设计、超参数调节和计算资源分配等。为了处理这些挑战，研究人员通常采用高效的数据并行和模型并行技术，例如多机多卡并行、混合精度训练等。大型模型训练已经在许多领域取得了显著的进展，例如计算机视觉中的超分辨率、目标检测和图像分割，自然语言处理中的机器翻译、语言生成和文本分类等。
大模型入门指南 - Training：小白也能看懂的“模型训练”全解析
EnjoyEDU的博客
04-30 1901
Training（模型训练）本质是AI世界的‘科学烹饪实验’——以数据为食材原料，用超参数作配方比例，借验证集做品控质检，将‘玄学炼丹’的试错过程，淬炼成‘可复现的精密工程’。今天用最通俗的话，带你拆解模型训练（Training）全过程。
实训日记2：实现卷积神经网络对视线的回归
qq_37623085的博客
03-31 1270
本次项目的业务实现流程如下： 将输入图像正则化后得到眼部图像e和头部的旋转角度h，然后通过卷积神经网络得到用户的视线角度向量g。其中g是一个2维向量，属性分别为水平方向的视角theta，竖直方向的视角phi。 本篇博客讲述的便是CNN的实现过程。 分析数据 把正则化的.mat数据文件导入matlab分析其结构如下： left，right分别为左右眼的数据，其中gaze为视线方向，image为...
大模型是如何训练的
04-01
以下是关于大模型训练的关键方面： #### 1. 训练的核心概念 训练是指通过算法不断调整模型参数以适应输入数据的过程[^1]。这一过程中，模型会利用大量标记好的数据来学习模式，并逐步优化其预测能力。 #### 2. ...
《Python星球日记》 第91天：端到端 LLM 应用（综合项目：医疗文档助手）
Code_流苏：在代码中寻诗意，在实践中觅真知
05-18 1091
《Python星球日记》 第91天：端到端 LLM 应用（综合项目：医疗文档助手），今天，我们将完成一个激动人心的里程碑——构建一个端到端的大语言模型（LLM）应用。我们将整合之前所学的知识，从项目需求分析到最终的Web应用部署，打造一个实用的LLM驱动的智能助手。
大模型入门（三）—— 大模型的训练方法
2301_81888214的博客
05-09 4291
随着现在的模型越来越大，训练数据越来越多时，单卡训练要么太慢，要么无法存下整个模型，导致无法训练。当你拥有多张GPU（单机多卡，多机多卡）时，你就可以通过一些并行训练的方式来解决你的问题。
大模型训练全指南：预训练、指令微调、奖励模型、强化学习从零开始
2401_84204413的博客
07-28 1929
本文详细梳理了大语言模型（LLM）的全流程训练方法，涵盖预训练、Tokenizer训练、指令微调、奖励模型和强化学习（RLHF）等核心环节。首先探讨预训练阶段的数据处理、模型选择和评测方法，强调中文适配与领域知识增强的重要性。其次介绍指令微调的自生成数据策略和开源数据集整理，并分析模型评测指标。最后解析奖励模型的训练数据需求、模型规模限制，以及强化学习中的PPO、DPO等技术，探讨训练稳定性问题。文末附赠AI大模型学习资料包，助力开发者高效掌握相关技术。
大模型是如何训练的？
2401_84206094的博客
11-21 2179
大模型（Large Models）的训练是近年来人工智能领域的核心技术之一，尤其是在自然语言处理、计算机视觉等任务中，如 GPT、BERT 等模型的成功背后，离不开复杂的训练过程。本文将为你介绍大模型是如何训练的，包括数据准备、模型架构、训练方法和硬件支持等方面。大模型的训练需要大量的数据，因为它们需要从海量信息中学习模式和规律。
从零到一打造自己的大模型：模型训练
2401_84204413的博客
06-27 3318
至此我们成功完成了模型训练，为其注入了先验知识。现在它拥有各种工具，但是无法进行使用，后面我们进行 sft 教模型如何使用这些工具。
敲重点！最全大模型训练合集！
2401_84205765的博客
08-15 1247
分布式并行策略相关并行相关的论文。
大模型训练（超全面！超详细！）收藏这一篇就够了！
aolan123的博客
02-07 1859
大模型训练被分解成了预训练，监督调优，对齐等阶段。先看预训练，预训练，即Pre-training。预训练的目的是让模型学习语言的特性，主要是学习语言表达的流畅性和规则。至于具体的语言任务，比如对话，角色扮演，信息抽取，翻译，阅读理解，问答等，则需要放到监督调优。预训练是大模型的基础和核心，预训练阶段决定了模型的基础能力和上限。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值