zc621_的博客

为了避免灾难性遗忘，可以采取以下几种策略：

在训练和优化这些Transformer模型时，常用的微调方法包括全参数微调、低秩适配（LoRA）、监督微调（SFT）和指令微调（Instruction Fine-Tuning）等。微调方法调整参数数量资源需求适用场景优点缺点全参数微调全部参数高需要最佳性能且资源充足的任务最高的性能提升高计算资源和显存需求LoRA部分参数低资源有限或需要多任务切换的情况高效、低资源消耗、灵活性强可能不如全参数微调表现好监督微调 (SFT)全部或部分中需要精确任务表现的应用。

*自回归生成（Autoregressive Generation）**是一种文本生成方法，模型通过逐步预测下一个词语来生成完整的句子或段落。每一步生成的词语都会作为上下文的一部分，用于预测下一个词。特点：逐步生成：模型一次生成一个词，基于之前生成的词预测下一个词。上下文依赖：每个生成的词依赖于之前生成的所有词，因此模型需要记住整个生成过程的上下文。适用于生成任务：如文章写作、对话生成、代码编写等。假设我们要让模型生成一句话，“我喜欢吃苹果。输入：开始生成，“我喜欢吃”模型生成下一个词：苹果。

定义：模型在处理每个词时，同时考虑其左侧和右侧的上下文信息。优势更准确的语义理解。能够捕捉复杂的语言结构和多义词的正确含义。应用：主要用于需要深度理解输入文本的任务，如文本分类、情感分析、命名实体识别（NER）、问答系统等。**双向编码（Bidirectional Encoding）与单向编码（Unidirectional Encoding）**描述的是模型在处理文本时如何利用上下文信息。双向编码：同时考虑词语的前后文，适用于理解任务。单向编码：只考虑一侧的上下文，适用于生成任务。