MFTCoder 重磅升级v0.5.0发布，支持SST加训与DPO

CodeFuse 在 2023 年 9 月开源了一种多任务框架—— MFTCoder，它可以在多个任务上实现同时进行个性化。通过结合多种损失函数，我们有效地解决了多任务学习中常见的任务间数据量不平衡、难易不一和收敛速度一致性等挑战。大量的实验结果表明，我们首先要对单个任务进行更更新或者忽略多任务混合后再进行更大的，多任务方法表现优。

此外，MFTCoder 具备高效特征训练，包括提供的数据标记化模式，支持 PEFT 调音和全量调音，能够提升高效调音训练速度并降低对资源的需求。MFTCoder 是轻量的、简单清晰的、易于使用二次的、持续不断的前沿技术开发的开源框架。

目前MFTCoder迭代到了v0.5.0版本，新增了对SST继续训练、离线标记化、DPO等支持，可以进行预训练加训与强化训练。

新升级代码也已经到了GitHub：https://开源github.com/codefuse-ai/MFTCoder/tree/main/mftcoder_accelerate

MFTCoder v0.5.0 新增功能

• 新增xxpo模块支持DPO/RPO/ORPO等偏好调整方法，可用于强化调整。

• 新增 mpt 模块支持全量参数 SST 加训。

• 新增离线分词器模块支持预训练数据分词。

• 将自定详细的队列损失更新到新的训练队列损失CoBa。

• 新版本已经搭载到 Transformers v4.44.2，也因此支持了多种新的开源模型。

目前，MFTCoder已支持更多的开源LLM，如Qwen2、Qwen2-moe、Gemma、Starcoder2、Mixtral、Mistral、Deepseek、 Llama、CodeLlama、Qwen、CodeGeeX2、StarCoder、Baichuan2、ChatGLM2/3、GPT-Neox等。

更多 MFTCoder 相关内容参见：

• MFTCoder详细介绍见公众号文章：干货！MFTCoder 论文多任务驱动技术详解
• ​​​​​​​​​​​​​​​​​​​​MFTCoder 技术细节论文已被顶会 KDD 2024 (ADS) 接收：https://arxiv.org/pdf/2311.02303.pdf
• ​​​​​​​​​​​​​​​MFTCoder 多任务收敛均衡方法 CoBa 已被顶会 EMNLP 2024 收录：https: //arxiv.org/pdf/2410.06741

联系我们

MFTCoder 最新版本 v0.5.0 已经开源，感兴趣的同学可以使用版本标签持续跟踪主要分支或者论文中提到的模型和数据集仍然持续开源中，如果您喜欢我们的工作，欢迎开源、指正错误并贡献代码，。任何贡献我们都会非常欢迎，请参阅贡献指南（https://codefuse.ai/contribution/contribution）

• GitHub项目主页：https://github.com/codefuse-ai/MFTCoder

• HuggingFace主页：https://huggingface.co/codefuse-ai

• 魔搭社区主页：https://modelscope.cn/organization/codefuse-ai

如果你喜欢我们的项目，欢迎在 GitHub 上为我们点亮！

​​​​​​​​

如果您想更快地获取最新信息

欢迎加入我们的微信群

企业用户有需求，加入群聊时私聊“CodeFuse服务助手”联系解决方案专家~

往期回顾

1	开源｜MFTCoder论文被KDD 2024接收，开源v0.4.2版发布
2	MFTCoder重磅升级v0.3.0发布，支持Mixtral等更多模型，支持收敛均衡，支持FSDP
3	干货！MFTCoder论文多任务适配器技术详解