【LLM】从零预训练一个tiny-llama

最新推荐文章于 2025-06-04 11:52:04 发布
最新推荐文章于 2025-06-04 11:52:04 发布
阅读量497 收藏
点赞数 2
分类专栏： LLM 文章标签： llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42914989/article/details/142472285
版权

文章目录

从零预训练一个tiny-llama

参考项目：https://github.com/KMnO4-zx/tiny-llm
数据集：https://www.modelscope.cn/datasets/AI-ModelScope/TinyStories

1. 数据集

2. 数据预处理

3. 训练模型

4. 项目结构介绍

5. 运行项目示例

学习总结

本次掌握了数据集的预处理，并对预处理后的数据进行训练。了解模型如何基于已有的上下文生成后续 token 的机制。

使用 TinyLlama 1.1B 进行精细调整和量化，TinyLlama 是自定义领域微调的绝佳选择，它经过了全面的训练过程以增强其语言能力
iCloudEnd的博客
10-19 185
TinyLlama 是一个雄心勃勃的开源项目，旨在基于惊人的 3 万亿个 token 对 Llama 模型的紧凑型 11 亿个参数版本进行预训练。该训练过程于 2023 年 9 月 1 日启动，利用 16 个 A100-40G GPU 的强大功能，目标是在 90 天内完成。通过使用与 Llama 2 相同的架构和 tokenizer，TinyLlama 可以无缝集成到围绕 Llama 生态系统构建的现有开源框架中。
从头预训练一只超迷你 LLaMA 3
weixin_45727359的博客
05-27 641
作者：Xode原文：https://zhuanlan.zhihu.com/p/695130168这次打算用 Hugging Face 的 API 来写一份预训练大（小）模型的代码，也就是用 Trainer 来做预训练。由于只是想练习一下，因此打算选一个极小模型 + 小数据集。为了贴近主流，于是打算预训练一个 LLaMA 3——不过是超迷你版本，大小仅不到 20M。想起来曾经看到过的微软的工作 Ti...
如何从零训练一个LLM：尝试基于0.5B小模型复现DeepSeek-R1的思维链
python1234_的博客
03-24 757
1.虽然微调第一步得到的SFT模型已经能够输出思维链，但是其回答问题的准确性还比较差，因为SFT训练的重点其实是整体的回复质量，而不是专注于正确答案；2.但如果不经过SFT训练，直接使用GRPO的话，一开始模型的输出是没有思维链的，又无法准确提取答案，导致没有任何奖励，变得难以训练，或者选择能力更强的底座模型；3.因此对于聊天类的数据，可以考虑直接使用SFT去微调，因为整体的回复质量更为重要，而对于数学/代码等要求正确答案/能否运行的数据，可以SFT+强化学习。\4. 完整代码。
如何从零训练一个LLM：基于0.5B小模型复现DeepSeek-R1的思维链
本人程序员，不需要做任何吹嘘，只是实在写点程序，写点文档，熟悉各类主流框架，SSM，SpringBoot，Flask，Djiango，Mysql，Sqlite，VUE，Uniapp等，各类程序设计专家，优质作者
03-18 994
如何从零训练一个LLM：基于0.5B小模型复现DeepSeek-R1的思维链
windows上搭建llama小型私有模型
wuanwujie的博客
09-24 3609
导言目标一、命令行运行大模型llama安装前的准备运行大模型二、 使用python调用模型环境准备使用langchain调用llama模型欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入Markdown。
TinyLlama 项目使用教程
gitblog_00378的博客
08-16 809
TinyLlama 项目使用教程 tinyllamaA tiny x86 retro computer项目地址:https://gitcode.com/gh_mirrors/tin/tinyllama 项目介绍 TinyLlama 是一个开源的小型语言模型项目，旨在预训练一个 1.1B 参数的 Llama 模型，目标是处理 3 万亿个令牌。该项目基于 Llama 2 的架构和分词器，并利用了开源...
tiny-llama 训练教程
weixin_41804613的博客
09-23 397
训练一个tiny-llama
Tiny-universe-taks2-从零预训练一个tiny-llama
m0_50972200的博客
09-23 167
具体的项目放到明天更新，今天先签到占个位。
从零预训练一个tiny-llama#Datawhale组队学习Task2
fzyz123的博客
09-23 1320
Q：什么是Flash Attention？A：Flash Attention 是一种用于加速Transformer模型中自注意力（self-attention）机制的优化技术。传统自注意力机制的时间复杂度和内存消耗均为 O(N2)，其中 N是序列长度。Flash Attention 通过优化注意力计算的方式，能够在保持计算精度的同时显著降低计算成本，特别是内存消耗。Q：Flash Attention的机制是什么？如何实现这种优化的？
【tiny-universe】实现一个llm并使用tiny-stories数据集训练
Farah_Y的博客
09-23 762
基于llama手搓一个小小的llm
大模型(LLM)预训练之数据处理-文档提取-预训练格式转换
Tankoldbang的博客
07-09 612
抛开其中的图片，其实比较难搞的就是其中对于段落中的表格正确识别。ragflow这个好像在demo网页中能够提取。这个Aspose是付费的 只能试用给出一部分。然后是langchain的自带的pdf提取。还有一个问题是官网文档给出的教程是C#的。而且访问Table时报错无法解决。尝试了一下还是有些难搞。同时给出了ocr方案。
支持中文场景的的小语言模型llama2.c-zh.zip
10-19
文本生成是另一个关键应用领域。llama2.c-zh可以根据输入的提示生成连贯的中文文本，如新闻报道、故事创作或摘要生成。在自动摘要中，它能精简长篇内容，提取关键信息，帮助用户快速理解文章主旨。在创意写作中，它...
【小白教程】ARC a750本地运行TinyLlama（LLM大语言模型）生成式AI
weixin_48981851的博客
09-07 958
【小白教程】ARC a750本地运行TinyLlama（LLM大语言模型）生成式AI
TinyLLM：在消费级硬件上运行大型语言模型的利器
gitblog_01001的博客
09-13 773
TinyLLM：在消费级硬件上运行大型语言模型的利器 TinyLLM Setup and run a local LLM and Chatbot using consumer grade hardware. 项目地址: http...
tiny-llm：构建高效LLM模型的底层服务
gitblog_00773的博客
04-23 874
tiny-llm：构建高效LLM模型的底层服务 tiny-llm LLM serving with MLX 项目地址: https://gitcode.com/gh_mirrors/tin/tiny-llm ...
使用Llama文件在本地运行LLM
ppoojjj的博客
07-06 491
Llama文件是包含模型权重和特别编译的llama.cpp版本的单一文件，能够在大多数计算机上运行，不需要额外的依赖项。它们还附带了一个嵌入的推理服务器，为与你的模型进行交互提供了API。
【总结】在嵌入式设备上可以离线运行的LLM--Llama
似水流年
04-01 4195
LLaMA 模型集合由 Meta AI 于 2023 年 2 月推出， 包括四种尺寸(7B 、13B 、30B 和 65B)。由于 LLaMA 的 开放性和有效性， 自从 LLaMA 一经发布， 就受到了研究界和工业界的广泛关注。LLaMA 模型在开放基准的各 种方面都取得了非常出色的表现， 已成为迄今为止最流行的开放语言模型。大批研究人员通过指令调整或持续 预训练扩展了 LLaMA 模型。特别需要指出的是， 指令调优 LLaMA 已成为一种主要开发定制专门模型的方法， 由于相对较低的计算成本。
五大主流大模型推理引擎深度解析：llama.cpp、vLLM、SGLang、DeepSpeed和Unsloth的终极选择指南
最新发布
全世界的博客
06-04 768
大模型五大主流推理引擎大盘点
企业级应用狂潮：从Spotify到LinkedIn的Llama实战手册
Genio_Wang的博客
06-02 95
当Spotify用Llama生成的个性化推荐文案让用户播放时长激增30%，当LinkedIn靠开源框架将社交推荐延迟降低40%——企业级AI战场正经历从“技术炫技”到“利润引擎”的残酷蜕变。
LLM大模型进行预训练微调实战
03-23
### LLM大模型预训练与微调的实际操作方法 #### 预训练阶段 预训练是指在一个大规模的数据集上训练一个基础模型，以便该模型能够学习到通用的语言表示能力。这一过程通常依赖于无监督学习技术，例如掩码语言建模（Masked Language Modeling, MLM）、自回归预测（Autoregressive Prediction）或其他类似的策略。 在实际操作中，预训练可以通过以下框架完成： - **Hugging Face Transformers** 是一种广泛使用的库，支持多种主流的大规模预训练模型，如 BERT、GPT 和 T5。开发者可以加载这些模型并继续在其基础上进行进一步的训练或微调[^1]。 ```python from transformers import AutoTokenizer, AutoModelForPreTraining tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased") model = AutoModelForPreTraining.from_pretrained("bert-base-uncased") # 假设有一个大型语料库 dataset for batch in dataset: inputs = tokenizer(batch["text"], padding=True, truncation=True, return_tensors="pt") outputs = model(**inputs) ``` 上述代码展示了如何使用 Hugging Face 的 `AutoModelForPreTraining` 来加载预训练模型，并对其进行进一步的训练处理。 #### 微调阶段 微调是在预训练的基础上，针对具体任务对模型进行优化的过程。这一步骤的目标是使模型适应特定领域或任务的需求，比如情感分析、命名实体识别等。 以下是基于 Hugging Face 库的一个简单的情感分类任务微调示例： ```python import torch from datasets import load_dataset from transformers import AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArguments dataset = load_dataset('imdb') # 使用 IMDb 数据集作为例子 tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased") model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased", num_labels=2) def tokenize_function(examples): return tokenizer(examples['text'], padding='max_length', truncation=True) tokenized_datasets = dataset.map(tokenize_function, batched=True) training_args = TrainingArguments( output_dir="./results", evaluation_strategy="epoch", learning_rate=2e-5, per_device_train_batch_size=16, per_device_eval_batch_size=16, num_train_epochs=3, weight_decay=0.01, ) trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_datasets["train"], eval_dataset=tokenized_datasets["test"] ) trainer.train() ``` 此代码片段说明了如何加载数据集、定义模型架构以及设置超参数来进行微调。通过这种方式，模型可以在目标任务上获得更高的精度和更好的泛化能力。 #### 参数高效微调 (PEFT) 为了减少计算资源消耗，研究者开发了 PEFT 方法，这种方法允许只更新部分参数而不是整个网络中的所有参数。其中，“增加式方法”是一种常见的 PEFT 技术，它通过向现有模型添加额外的小型模块来扩展功能，而无需重新训练原始模型的所有权重[^3]。 例如，在 LoRA（Low-Rank Adaptation）方案下，只需引入低秩分解矩阵以修改选定层的行为即可达到良好的效果。这种做法显著降低了存储需求和推理时间开销。 --- ### 总结 通过对 LLM 大模型实施有效的预训练和针对性强的微调流程，可以使模型具备解决复杂自然语言处理问题的能力。同时采用先进的 PEFT 技巧有助于缓解高昂的成本压力，促进更广泛应用场景下的部署可行性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值