每天都在梦想退休

使用阿里云DSW微调ChatGLM3-6B：https://blog.youkuaiyun.com/a131529/article/details/134895649。官方微调文档：https://github.com/THUDM/ChatGLM3/blob/main/finetune_demo/README.md。参考：https://blog.youkuaiyun.com/H66778899/article/details/135630030。2.查找相关资料学习在阿里云部署ChatGLM3-6B。1.阅读ACL文献并记录。

预训练语言模型（PLMs）展示了在通用领域理解文本的出色能力，但在特定领域却表现出困难。具体来说，我们将Transformer架构的前馈网络（FFNs）分解为两部分：原始预训练的FFNs以保持旧领域知识和我们的新领域特定适配器以并行注入领域特定知识。MixDA可以无缝地插入预训练微调范式，我们的实验表明，MixDA在领域内任务（GLUE）、领域外任务（ChemProt、RCT、IMDB、亚马逊）和知识密集型任务（KILT）上取得了卓越的性能。领域适配器混合：将领域知识解耦并注入预训练语言模型的记忆。