minimind - 从零开始训练小型语言模型

最新推荐文章于 2025-10-20 10:35:29 发布
原创 最新推荐文章于 2025-10-20 10:35:29 发布 · 2.1k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#开源 #人工智能 #AI编程

大语言模型（LLM）领域，如 GPT、LLaMA、GLM 等，虽然它们效果惊艳， 但动辄10 Bilion庞大的模型参数个人设备显存远不够训练，甚至推理困难。 几乎所有人都不会只满足于用Lora等方案fine-tuing大模型学会一些新的指令， 这约等于在教牛顿玩21世纪的智能手机，然而，这远远脱离了学习物理本身的奥妙。 此外，卖课付费订阅的营销号漏洞百出的一知半解讲解AI的教程遍地， 让理解LLM的优质内容雪上加霜，严重阻碍了学习者。

因此，本项目的目标是把上手LLM的门槛无限降低， 直接从0开始训练一个极其轻量的语言模型。

7200 Stars 750 Forks 32 Issues 4 贡献者 Apache-2.0 License Python 语言

代码: GitHub - jingyaogong/minimind: 🚀🚀 「大模型」3小时完全从0训练26M的小参数GPT！🌏 Train a 26M-parameter GPT from scratch in just 3 hours!

主页: MiniMind Project

更多AI开源软件：AI开源 - 小众AI

​

​

Tip

（截至2024-9-17）MiniMind系列已完成了3个型号模型的预训练，最小仅需26M（0.02B），即可具备流畅的对话能力！

模型 (大小) tokenizer长度 推理占用 release 主观评分（
最低0.47元/天 解锁文章
比刷剧还爽！从零开始动手实践小模型训练指南
春华秋实
08-07 819
此外，小模型还能够在保持相对较高性能的同时，提供高效的解决方案，为广泛的应用场景带来了灵活性和可行性选择。：通过结合检索和生成的优势，创建一个RAG（Retrieval-Augmented Generation）系统，可以提升你的技术水平，并为你的项目增添实用价值。从零训练1B以下的小模型，对于资源有限的开发者来说，从零开始训练一个小模型是一个可行且有益的实践项目。最近，我在网上搜集了不少资料，主要是GitHub上的仓库和Arxiv上的论文，并将其记录在这里，供大家参考和学习。，参数最小达到0.5B。
语言模型训练的工具与平台
AI天才研究院
02-28 639
1. 背景介绍 1.1 什么是语言模型 语言模型（Language Model，简称LM）是自然语言处理（NLP）领域的核心技术之一，它的主要任务是对自然语言序列进行概率建模。简单来说，语言模型就是用来计算一个句子或者一段文本在某种语言中出现的概率。这个概率可以用来衡量一个句子的合理性，也可以用来生成
从零训练的 1B 以下小模型汇总
zenRRan的博客
07-06 2788
知乎：Angry Bugs链接：https://zhuanlan.zhihu.com/p/693252663最好的学习方式莫过于自己从头做一遍。学习大模型的相关知识以来，一直都想从头自己训练一个 1B 以下的模型，感觉这样才算是真的学过了。不过以手头的资源，也只能玩玩儿迷你的小模型了。最近在网上搜了不少资料，主要是 GitHub 上的仓库和 Arxiv 上的 paper，顺便记录在这里。https...
本地单卡从零训练大模型：minimind项目学习总结
最新发布
专注最新最热的AI知识学习，以实战方式总结心得。
10-20 790
A[手动设定核心架构参数] --> B{是否启用GQA/MQA?A --> C[计算总参数量<br>params]subgraph A [手动设定的核心架构参数]A1[len_vocab<br>词表长度]A2[n_layers<br>模型层数]A3[d_model<br>模型维度]A4[q_heads<br>查询头数量]endB -- 是 --> D[手动设定kv_heads<br>KV头数量]B -- 否（标准MHA） --> E[kv_heads = q_heads]
不要上来就大模型，从训练一个小模型开始
2401_85373396的博客
10-03 1291
从训练一个小模型开始，大模型太复杂小模型刚刚好有句老话叫眼高手低，最近发现有些人就是眼高手低的现实案例，在什么都不懂的情况下就想搞大模型，小模型还看不上。但其实最好的方式是从一个小模型开始，至于原因就是因为小模型相对比较简单一点，其次就是硬件要求较低，普通人能够玩的转。从小模型开始为什么建议大家从小模型开始，特别是一些开源小模型？之所以建议大家刚开始以小模型为主，原因就是因为从技术原理来说，大模型和小模型没有本质上的区别；只不过大模型和小模型由于量变导致的质变，大模型的复杂度与小模型不能同日而语。
【浅析】Minimind学习笔记
qq_49353571的博客
04-02 6514
full_sft模型在简洁性和信息准确性方面表现更好；rlhf模型在回答中倾向于提供更多的背景信息，但信息准确性有待改进。总的来说RLHF后的模型倾向于学习：说更多有礼貌但无用的废话讨好“对话”本身，而对信息准确性则有轻微损失。天下没有免费的午餐，还需要继续提升RLHF数据集的质量，也要接受模型能力无法避免的损失(程度有轻重)。DPO和在线PPO的区别在于reject和chosen都是离线准备的，和minimind模型本身的输出必然存在很大的分布差异。通俗地说。
实战|这次带你从零到一，亲手打造你的第一个小语言模型，它比你想象的更有用！
2401_84204413的博客
08-11 785
本文探讨了构建小型语言模型(SLM)的可能性，通过仅1000-1500万参数实现流畅文本生成。研究采用GPT-2架构训练TinyStories数据集(200万条3-4岁词汇的短故事)，详细介绍了从数据预处理、模型构建到训练优化的完整流程。实验表明，通过合理的架构设计(6层transformer、384维embedding)和训练策略(混合精度、梯度累积)，小型模型也能达到良好效果。该研究为资源受限场景下的语言模型应用提供了实践参考，完整代码已在Colab开源。
minimind最小开源大模型，可以自己训练自己的大模型
11-27
该模型的训练过程是自主的，意味着用户可以从零开始，利用minimind提供的资源和工具链，逐步构建出适应特定任务的大模型。minimind的自训练能力对于希望开发定制化人工智能解决方案的用户而言，是一大福音。此外，...
VLM Minimind-v 项目记录
ChengEarth的博客
03-16 862
VLM模型的简易架构解读、训练和心得
超小语言模型MiniMind
金石软件
03-05 516
中文 |
minimind-v和minimind的区别
06-07
- **Minimind-V** 是一个多模态视觉语言模型，旨在处理图像和文本的联合任务，例如图文匹配、图像描述生成等[^1]。它通过引入占位符 `@@@...@@@` 来替代图像，并结合 CLIP 模型的编码能力，将图像表示为 196×768 维...
AI学习记录 - 依据 minimind 项目入门
weixin_43954090的博客
12-14 919
python data_process.py： 这一步具体做什么还在看，猜测就是按照特定的策略从超大文本预料当中获取自己需要的语料。官网：https://pytorch.org/
MiniMind - 从0训练语言模型
AI工程化、开源分享、文档翻译、代码笔记
01-10 8045
一、关于 MiniMind 📌 项目包含 二、📌 Environment 三、📌 Quick Start Test 四、📌 Quick Start Train 0、克隆项目代码 1、环境安装 2、如果你需要自己训练 3、测试模型推理效果 五、📌 Data sources 1、分词器🤖 2、Pretrain数据 📙 3、SFT数据 📕 4、DPO数据 📘 5、更多数据集 6、数据集下载地址 六、模型📌 七、 Experiment 📌 训练完成的模型权重 八、Eval📌 1、RLHF篇
从零开始学NLP（七）语言模型
06-23 4084
一、语言模型基础 1.什么是语言模型 语言模型用来判断一句话从语法上是否通顺 总结起来的话，语言模型最主要的作用是保证文本的语法结构，得到通顺的语句。语言模型是一种概率统计的方法，已经训练好的语言模型可以对任何一个文本给出概率，概率越高说明语法上越通顺。通过比较两句话在同一个语言模型上的概率，我们就可以得出哪一句话更通顺一些。 2.计算语言模型的概率 语言模型的目标计算一句话或者一系列单词的概率 链式法则： 述的条件概率是从语料库中统计出来的,而且语言模型本身是无监督学习,不需要数据标签 3
大模型基础： 从零开始训练一个最小化的Transformer聊天机器人
python12345678_的博客
11-12 494
定义一个简单的Transformer模型。本文介绍了如何从零开始构建一个最小化的Transformer聊天机器人。从数据准备、模型定义到训练和评估，每一步都尽量简化，以便于理解。希望这个例子能够帮助大家了解Transformer模型在聊天机器人中的基本应用。​。
从零开始构建一个小型字符级语言模型的完整详细教程（基于Transformer架构）
搏博的专栏
02-20 1553
此时，输入序列的每个位置都会有一个128维的向量，最终的输入矩阵形状应该是(batch_size, block_size, d_model)，当batch_size=32时，输入矩阵形状为(32, 64, 128)。将原始语料库中的内容变成训练样本，就要先确定自变量和因变量，构建一个自变量与因变量之间的函数关系，并在训练过程中不断调整函数，使得这个函数能够表达当前文本序列之间的关系。，模型的最后一层通常是一个线性层，将隐藏层的输出映射到词汇表的大小，以便生成每个字符的概率分布。
什么是小语言模型？
m0_59235945的博客
07-25 1357
小型语言模型是专为自然语言处理而构建的 AI 模型，其参数比大型模型少得多。GPT-4 等模型有数千亿个参数，而小型语言模型可能只有数百万或数亿个参数。尽管这些模型规模很小，但它们可以有效地执行各种任务，因此在广泛的应用中非常有用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值