CodeFuse发布34B-4bit单卡4090可部署模型

原创

已于 2023-10-19 14:33:43 修改 · 906 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#AIGC

于 2023-10-19 11:34:21 首次发布

2023年9月8日，蚂蚁集团首次开源代码大模型CodeFuse，可自动生成代码等提升研发效率。其基于蚂蚁基础大模型平台研发，在HumanEval评测中成绩优异。还开源了多任务微调框架MFTCoder，支持多任务、多框架等。此外，对模型进行4bit量化部署，减小显存占用。

Hello world, this is CodeFuse!

2023 年 9 月 8 日下午，在上海举行的“2023 inclusion·外滩大会--云端 Al：探索新兴技术和发展模式”论坛上，蚂蚁集团首次开源了代码大模型 CodeFuse。这是蚂蚁自研的代码生成专属大模型，根据开发者的输入，帮助开发者自动生成代码、自动增加注释、自动生成测试用例、修复和优化代码等，以提升研发效率。无论用户是初学者还是有经验的开发者，CodeFuse 都能够极大地提高编程效率和准确性。

CodeFuse 的目的是重新定义下一代AI研发，提供全生命周期AI辅助工具。蚂蚁集团期望通过开源 CodeFuse，和社区一起推进软件工程领域的范式跃迁，重塑软件研发的各个领域，加速各行各业的数字化进程。

CodeFuse 基于蚂蚁基础大模型平台研发，在近期代码补全的 HumanEval 评测中，其得分达到74.4%，超过了 GPT-4 (67%)的成绩，也超过了 WizardCoder-34B 73.2% 的得分，在开源模型中位于国际前列。本次开源内容包括代码框架、数据集和模型三大部分。

代码仓库现已上架 GitHub 平台，数据和模型已上架 HuggingFace 平台和国内的魔搭社区。

GitHub 地址：https://github.com/codefuse-ai

HuggingFace 地址：https://huggingface.co/codefuse-ai

魔搭社区地址：https://modelscope.cn/organization/codefuse-ai

特别的，我们开源了一套多任务微调框架 MFTCoder (https://github.com/codefuse-ai/MFTCoder)，支持当前众多主流大模型并支持 Lora 与 QLora 高效微调，欢迎大家试用在私有数据上打造自己的专属代码大模型，并请给我们的项目一键三连支持 Star + Fork + Watch。

首先我们来看一下，CodeFuse 能做什么。

01 贪吃蛇游戏生成

早在 2022 年 1 月，蚂蚁集团内部开启了代码智能相关探索。随着公司整体战略的推进，在统一软硬件基础设施支持下，2023 年从 0 到 1 训练了多个代码大模型，打造了 CodeFuse。基于 CodeFuse 的应用场景有开 IDE 插件、发助手、代码分析器等，覆盖了目前研发工作的主要需求，并在蚂蚁集团内部研发流程中陆续得到验证。

接下来，给大家演示一下，基于蚂蚁开源模型 CodeFuse-CodeLlaMa34B，利用 HTML 和 JavaScript 在线制作贪吃蛇小游戏的场景。