微调模型需要配置的参数解释

1. resid_dropout（残差模块的 Dropout 系数）

• 数值：0.1
• 作用：
  • 控制模型残差连接部分的随机失活概率，防止模型过拟合。
  • 不建议修改，因为默认设置通常已经针对一般任务优化。

2. embd_dropout（Embedding模块的 Dropout 系数）

• 数值：0
• 作用：
  • 控制模型输入层（Embedding层）中神经元的随机失活概率，用于降低过拟合风险。
  • 设置为0表示不启用dropout，不建议修改。

3. attn_dropout（Attention 模块的 Dropout 系数）

• 数值：0
• 作用：
  • 控制Attention层（注意力机制）输出的随机失活概率，防止模型在注意力计算上过拟合。
  • 设置为0表示不启用dropout，不建议修改。

4. learning_rate（学习率）

• 数值：0.00001