AI 大模型调试-模型后处理

对于一篇古诗词，规则：四行五列。

生成：文字

固定：符号

固定的就不要让AI生成了。

模型后处理：模型生成文本后，进行的特殊处理。

数据清洗不够标准，包含特殊符号，训练时会被训练进去。

即使足够标准，模型也会在创作中生成这样的特殊字符。

为了使生成的结果更符合我们我们的预期，我们会进行模型后处理。

1.模型推理

2.获取最后一个字logits

输出的概率21128个概率。21128按从大到小的概率排序，取前50词作保留，为了具备一定的创作能力。50以后概率变小，设置位负无穷，降低概率词的命中率

3.采样：无放回采样，最多允许重复2次或者最多3次。

回放问题：白[色][色][色]

4.当前生成的文本到达预期的整数倍，则添加符号（强制加入）

目前transformer

input_ids 当前生成的词

#更新注意力，标记所有有效位置

attention_mask

token_type_ids

labels

AI负责创作，格式和内容需求，交给程序把控。

生成效果还可以，是训练的损失还可以（loss=1.5左右）。

加载训练的权重

格式要求比较高的，AI生成不了，固定的那部分一定是程序实现的。

开头和结尾不去，所以对文本生成来说，需要留给大模型看。不想显示就通过程序搞定。

微调模式：分为 全量微调，局部微调，增量微调

全量微调 GPT2 古诗词训练，BERT 新闻分类

1）对素偶偶参数进行微调

2）对算力和显存要求高

3）理论上效果最佳。

局部微调（核心）

1）只调整默写某部分参数，例如输出层，输入层或某些特殊层

2）对算力和显存要求一般

增量微调

1）通过新增参数的方式进行微调，新的知识存储在新的参数中

2）对显存和算力要求低

3）效果不如全量微调

对于大模型而言，微调不一定有效（有可能微调时候效果更差）这种往往是针对超大规模而言的，一般是指10B以上（智普清言 Deepseek）。模型参数量越大，这种出现的概率越高。

当前微调的模型基本选择10B以下。