博客简介不能为空

🧠 为什么要计算 FLOPs？模型的计算复杂度（Computational Cost）单位时间内的推理负担在推理或训练过程中对 GPU/TPU 的压力在不同模型/优化策略之间对比效率的常用指标例如，在大模型推理优化中，经常要回答：我把模型从 13B 降成 7B，FLOPs 降了多少？推理速度快了多少？✅ 举个例子：以一个简单的全连接层为例：​假设输入是，则 FLOPs 计算为：其中 “×2” 是因为每个神经元有一次乘法和一次加法。🧩 为什么可以“用 FLOPs 推估内存占用”？

高质量：符合你任务的正确输入输出Diversity：如果输入输出很相似，模型很可能会记住这些信息，模型只会一直回答相似的内容Real：最好使用真实的数据，特别是在写作中，因为生成的数据总会有一些特定的模式More：数据量越大越好。

指令微调(instruction-tuned/instruction-following): 属于微调的一种方式。作用：提供更好的与用户交互的能力。例如通过指令微调，让GPT-3变成ChatGPT：对话型数据集，例如FAQ数据集。当然，你可以自己转化得到问答格式的数据集。比如我微调数据中，没有提到code相关的问答数据，但是模型在微调之后，也能够回答。（当然，模型在预训练阶段见过）。但是这说明了微调之后模型能把这种问答的能力迁移到其它的data上面，而不局限于微调数据。

简要介绍：预训练与微调Finetuning在训练过程中的位置。

我总结就是：specialize your model具体来讲，finetuning有以下一些作用：和仅prompt相比，finetuning可以让模型真正学习到你的数据，而不是just access to it更一致的输出或者行为获取知识。

在学习吴恩达老师的大模型微调课程中，看到他介绍的预训练阶段使用的是自监督的训练方法。但是对概念还是有点混淆，特地了解并记录一下学习笔记。