- 博客(67)
- 收藏
- 关注
RSS订阅
原创 下一代研发大模型需要哪些关键能力？
CodeFuse 支持从设计到运维的整个软件开发生命周期。项目已开源多个项目，欢迎社区共建。其中Rodimus作为 CodeFuse 的重要组成部分，旨在降低推理复杂度，优化大模型性能，支持低资源设备上的高效运行。
2025-01-06 15:29:48
834
原创 开源中国【专访】 | CodeFuse：让研发变得更简单
CodeFuse 是蚂蚁集团自研的代码生成大模型，旨在简化研发流程，提供智能建议和实时支持。它能自动生成代码、添加注释、生成测试用例并优化代码。通过创新的 Rodimus 架构，CodeFuse 实现了“小体量，大能量”，显著提升了资源利用效率。其特色功能“图生代码”可将设计图一键转换为代码，准确率超过90%，大幅提高前端开发效率。此外，CodeFuse 还引入了“Code Graph”概念，帮助 LLM 更好地理解仓库级代码结构，缩短任务处理时间。未来，CodeFuse 将致力于全生命周期的研发支持，涵
2024-12-30 10:59:32
1123
原创 CodeFuse「编码挑战季」任务冲刺倒计时3天！
本次 CodeFuse「编码挑战季」活动，需实际完成muAgent、MFTCoder、ModelCache、CodeFuse-IDE 四个代码仓库的编码挑战，深化对 CodeFuse 项目及开源社区了解、技术提升的同时，还有机会赢取 CodeFuse 定制周边，有突出贡献的开发者，还将获得 MelGeekMADE68 PRO磁轴键盘、Beats Studio Pro无线蓝牙耳机~
2024-12-18 17:41:53
742
原创 CodeFuse-AAIS：改进低智能体框架助力高效程序修复
进一步地，实验评估了多模型定位的信息对结果的影响。受 LLM 有效上下文长度的影响，不宜在 prompt 中提供过长的上下文信息，因此采用了定位阶段中 Top-3 的行粒度信息，每个行粒度前后会提供额外的 10 行代码，以提供相关上下文。以 Claude-3.5-sonnet 为主模型，gpt-4o-0513，DeepSeek-v2.5 和 Llama-3.1-Instruct 为辅助模型，在 SWE-Bench-Lite 的 300 个真实世界的 Issue 上测试了所提出方法的性能。
2025-02-28 10:39:52
806
原创 MFTCoder 重磅升级v0.5.0发布，支持SST加训与DPO
目前，MFTCoder已支持更多的开源LLM，如Qwen2、Qwen2-moe、Gemma、Starcoder2、Mixtral、Mistral、Deepseek、 Llama、CodeLlama、Qwen、CodeGeeX2、StarCoder、Baichuan2、ChatGLM2/3、GPT-Neox等。新升级代码也已经到了GitHub：https://开源github.com/codefuse-ai/MFTCoder/tree/main/mftcoder_accelerate。
2025-01-21 17:01:10
769
原创 muAgent v2.2版本发布，支持ekg-sdk使用
EKG支持并行执行muAgent-sdk v0.1.0，更加完善的model、prompt manager、agent等基础类，更易继承和自定义开发，可快速配置EKG的SDK使用版本，无需前后端直接体验谁是卧底、狼人杀！
2025-01-14 11:27:58
1089
原创 【论文专辑】2024年大模型推理优化论文精选第六期
本文整理了 OSDI 2024 和 SOSP 2024 中与大语言模型（LLM）推理优化相关的10篇论文，涵盖 Parrot、ServerlessLLM、dLoRA 等系统，提出的技术如 Chunked Prefill、Prefix-Caching、P/D分离等已被 vLLM 和 TensorRT-LLM 等主流推理引擎采用。这些研究解决了 LLM 推理中的冷启动延迟、资源分配、KV 缓存管理等问题，提升了推理性能和资源利用率。CodeFuse推理优化项目地址https://github.com/code
2025-01-08 15:34:14
1399
原创 CodeFuse IDE 0.7 版本发布，支持 Lint Error 智能改写
CodeFuse IDE 是一款基于蚂蚁自研大模型 CodeFuse 和自研 IDE 框架 OpenSumi 开发的 AI IDE，它支持主流的编程语言，在开发过程中提供单行代码或整个函数的编写建议，此外还支持代码解释、单测生成、问题修复、智能终端等功能，提升开发质量和效率。CodeFuse IDE 0.7 版本近期发布，主要支持 Lint Error 类型的智能改写，支持 zsh 类型终端自然语言生成命令，内置插件内核升级至 VS Code 1.88.1。
2024-12-30 13:55:26
666
原创 来自开发者的点赞，蚂蚁开源入选 2024 中国技术品牌影响力企业榜
自 2023 年 9 月开源以来，项目已经发布了多个代码仓库、数据集和模型参数文件，并在社区举办了一系列活动，得到了广泛的认可和期待。自研一体化架构，兼顾分布式架构的扩展性与集中式架构的性能优势，用一套引擎同时支持 OLTP 和 OLAP 的混合负载，具备数据强一致、高扩展、高可用、稳定可靠等特征。十余年来，经历了海量数据场景下的严苛考验，蚂蚁集团自研了数据库、云原生、隐私计算、图计算为代表的数字化“根技术”，在人机交互、人工智能、分布式计算、安全可信等核心领域都有标志性的开源项目。
2024-12-18 17:44:24
927
原创 CodeFuse「编码挑战季」：冲刺最后1个月！MelGeek磁轴键盘、Beats耳机等你来拿~
本次 CodeFuse「编码挑战季」活动，需实际完成muAgent、MFTCoder、ModelCache、CodeFuse-IDE 四个代码仓库的编码挑战，深化对 CodeFuse 项目及开源社区了解、技术提升的同时，还有机会赢取 CodeFuse 定制周边，有突出贡献的开发者，还将获得MelGeekMADE68 PRO磁轴键盘、Beats Studio Pro无线蓝牙耳机。
2024-12-12 10:31:47
1251
原创 轻松搭建AI版“谁是卧底”游戏，muAgent框架让知识图谱秒变编排引擎，支持复杂推理+在线协同
蚂蚁集团推出muAgent，兼容现有市面各类Agent框架，同时可实现复杂推理、在线协同、人工交互、知识即用四大核心差异技术功能。
2024-11-21 10:23:33
450
原创 EMNLP 2024 Oral | CoBa：均衡多任务收敛之道
我们提出了一种满足了以上两种需求的新的 MTL 方法——CoBa，旨在以最小的计算开销有效控制多任务收敛的平衡。CoBa 利用相对收敛分数（RCS）、绝对收敛分数（ACS）和发散因子（DF），在训练过
2024-11-21 09:59:11
178
原创 CodeFuse邀你领取「编码挑战季」任务，最高赢取Beats蓝牙耳机！
自开源以来，CodeFuse 一直以“让研发更简单”为使命，持续开源，持续推动研发生命周期的自动化，受到开发者的广泛欢迎。为了进一步与开发者建立联系，CodeFuse 在 GitHub 平台发起「编码挑战季」活动，现已开放近 50 个任务，涵盖muAgent、MFTCoder、ModelCache、CodeFuse -IDE 四大代码仓库。无论您是新手还是资深开发者，都可以在 CodeFuse 的 GitHub 页面选择适合自己的任务，开始挑战。）欢迎开发者们积极参与！
2024-11-19 10:09:25
174
原创 CodeFuse IDE 0.6 版本发布，支持编辑器诊断问题 AI 修复
CodeFuse IDE 是一款基于蚂蚁自研大模型 CodeFuse 和自研 IDE 框架 OpenSumi 开发的 AI IDE，它支持主流的编程语言，在开发过程中提供单行代码或整个函数的编写建议，此外还支持代码解释、单测生成、问题修复、智能终端等功能，提升开发质量和效率。Monaco 编辑器默认在出现下拉补全时不会出现 AI 提供的内敛补全，用户只能手动按一次 esc 隐藏掉下拉补全之后才能看到智能补全，非常不便。在下拉补全和内敛补全同时出现，如果此时需要选择内敛补全，则按 tab 即可采纳内敛补全。
2024-10-31 18:16:58
635
原创 对话蚂蚁开源蒋炜：让 Agent 把运维人员从 24 小时的待命中解放出来
在大模型出现之前，模型技术主要解决时序、日志、拓扑等结构化或半结构化数据的智能分析。但对于人类而言，更擅长的是语言沟通、文字记录、代码编写等非结构化数据处理。在大模型出现前，像。
2024-10-31 16:21:36
705
原创 活动｜2024 CodeFuse 「编码挑战季」活动已开启！欢迎报名参加
本次参与活动的 4 个仓库共计 20 多个任务，每个代码仓库还有简单、中度、困难三种不同程度的任务分类，开发者可以自由选择自己要感兴趣的项目任务，并跟帖，我们将在第一时间分配任务，完成任务即获得所对应任务的积分。ModelCache 是一个用于大型语言模型（LLM）的语义缓存系统，通过缓存预先生成的模型结果，减少类似请求的响应时间，该项目旨在通过引入缓存机制来优化大模型推理服务，帮助企业和研究机构降低推理部署成本，提高模型性能和效率，并为大型模型提供可扩展的服务。所有技术栈都是开源且充满活力的。
2024-10-31 13:28:15
939
原创 2024年代码大模型论文精选第五期
引言本文整理 2024 年 9 月至 10 月中旬全球各大高校与科研机构发布的 70 篇代码大模型相关论文。根据论文内容，我们将这些论文整理为了基座模型、代码微调、测试基准、代码 Agent、代码与大模型推理、代码生成、SQL 生成、代码 embedding、漏洞检测与修复等主题。全文篇幅较长，建议电脑端阅读。若您想了解其他时期的代码大模型论文，也欢迎关注我们的代码大模型综述TMLR）和 GitHub 开源项目。
2024-10-31 13:16:45
1547
原创 活动｜2024 CodeFuse 「编码挑战季」活动已开启！欢迎报名参加
本次参与活动的 4 个仓库共计 20 多个任务，每个代码仓库还有简单、中度、困难三种不同程度的任务分类，开发者可以自由选择自己要感兴趣的项目任务，并跟帖，我们将在第一时间分配任务，完成任务即获得所对应任务的积分，赢取定制周边和隐藏大奖。所有技术栈都是开源且充满活力的。
2024-10-24 11:53:21
539
原创 CGE：基于Causal LLM的Code Embedding模型
CodeFuse-CGE 项目在外滩大会展出，吸引众多技术与产品从业者的关注。“文搜代码”功能备受好评，模型表现令人期待。CodeFuse-CGE 采用大语言模型，通过 LoRA 微调提取文本与代码嵌入，实现在多个 NL2Code 基准测试中超越现有 SOTA 模型。现已开源 CGE-Large 与 CGE-Small 两种模型，欢迎访问 GitHub 页并支持本项目。[项目地址](https://github.com/codefuse-ai/CodeFuse-CGE)
2024-09-19 15:01:13
1035
原创 2024 年 8 月暨 ACL 2024 57篇代码大模型论文精选
2024年8月中旬，国际计算语言学大会ACL在泰国曼谷举行，展示了48篇代码大模型相关论文，包括24篇主会论文和24篇findings论文。主会论文涵盖XFT、WaveCoder、DolphCoder等创新方法，findings论文则探讨了代码注释增强、自动化程序修复等主题。此外，还额外整理了9篇8月最新代码大模型论文，涉及数据集合成、安全代码生成等多个前沿方向。欲了解更多，请访问我们的综述和GitHub项目。
2024-09-19 13:57:14
2680
原创 CodeFuse 开源一周年，焕新出发！
CodeFuse 是蚂蚁集团推出的开源项目，旨在通过大型代码语言模型（Code LLMs）支持软件开发生命周期各阶段，包括设计、编码、测试、部署等。自2023年9月开源以来，CodeFuse 不断迭代，推出了一系列创新产品和技术，如 CodeFuse IDE、muAgent 2.0 框架及 CGE 和 Rodimus 模型。项目已在蚂蚁集团内部广泛应用，并在多个行业会议上展示分享。未来，CodeFuse 将继续深耕开源，推出更多创新产品，并加强社区互动与合作。欢迎访问 CodeFuse 官网
2024-09-14 15:38:55
1571
原创 ICWS 2024 _ 基于生成长度预测的大语言模型推理请求调度
大量实验证明，Magnus 可以有效降低请求响应时间并提高LLM批处理的吞吐量
2024-08-20 14:41:05
1106
原创 蚂蚁CodeFuse代码大模型技术解析：基于全仓库上下文的代码补全
背景2023年CodeFuse完成了百亿级别的代码大模型从0到1的预训练，配合指令微调、量化部署等一系列配套技术，成功将AI大模型能力应用到多个下游研发场景，助力生产提效。在众多下游产品中，CodeFuse代码补全插件直接触及研发过程中最核心的编码场景，因此对开发效率的影响最显著。目前，CodeFuse代码补全插件是CodeFuse系列产品中用户数量最多、留存率最大，调用AI能力最多的产品。目前，大部分代码语言模型在预训练阶段以文件为基本单位，随机选择代码文件拼接固定长度后组成训练样本。常见的代码评
2024-08-07 18:15:27
2450
原创 ACL 2024｜D2LLM：将Causal LLM改造成向量搜索模型的黑科技
本文源于蚂蚁集团与华东师范大学的校企合作项目，目前已被ACL 2024 main会议接收。ACL（Association for Computational Linguistics）会议是自然语言处理领域的顶级国际会议之一，是自然语言处理领域唯一的 CCF-A 类会议。语义搜索是自然语言处理的关键组成部分，它通过挖掘文本的底层语义关联对大量文本进行筛选，以找到与用户查询最匹配的内容。
2024-07-08 15:09:54
1170
原创 ACL 2024 | CoCA：自注意力的缺陷与改进
文章提出了一种新的自注意力架构，以解决 RoPE 和原始 Self-Attention 之间的异常行为。这是首次对自注意力机制中查询和键的相对位置的深入研究，并由此发现了此前被忽视的位置编码异常。文章进一步导出了 CoCA 的松弛实现，并在大量实验上表明了该方法在长文本扩展上的优越性。同时，CoCA 与其他优化方法的兼容性，也为其未来的实用价值提供了基础。CoCA 开源地址：https://github.com/codefuse-ai/Collinear-Constrained-Attention。
2024-07-05 11:35:32
1355
原创 2024年5月90篇代码大模型论文最全整理
本文整理了 2024 年 5 月发布的 90 篇代码大模型相关论文，其中包括 17 篇发表在今年 ICLR 的论文
2024-06-28 12:18:45
1121
原创 CodeFuse-13B: 预训练多语言代码大模型
此外，我们从现有报告中收集了 13B到16B参数规模的七个当前主流多语言模型 GPT-NeoX-20B, CodeGeeX-13B, Baidu-ERNIE-3.5-15.5B, StarCoder-15.5B, CodeGen-multi-16B, CodeT5+-16B, CodeLlama-13B。CodeFuse-CodeLlama-34B在HumanEval上获得了74.4%的pass@1，超过了GPT4和ChatGPT-3.5的分数，在当时，领先其他开源语言模型模型（LLM）。
2024-06-27 12:31:31
576
原创 CodeFuse 开源官网上线啦~
后续更新我们会不断完善文档内容来提供更好的技术支持。后续会增加 Blog 页面，来持续同步 CodeFuse 的最新技术/技术应用/学术前沿文章。CodeFuse 线上社区活动，包括新手任务计划参考案例、社区共建计划参考案例等，也会在这里进行同步发布。关于 CodeFuse 团队CodeFuse 团队由一群充满热情的成员组成，我们的目标是构建大型编码语言模型（Code LLMs），以支持和提升在整个软件开发生命周期中的 AI 原生开发工作。
2024-06-24 16:03:55
1367
原创 MFTCoder论文被KDD 2024接收，开源v0.4.2版发布
CodeFuse在2023年9月开源了一种多任务微调框架——MFTCoder，它可以实现在多个任务上同时并行地进行微调。通过结合多种损失函数，我们有效地解决了多任务学习中常见的任务间数据量不平衡、难易不一和收敛速度不一致等挑战。大量实验结果显示，相较于单独对单个任务进行微调或者多任务混合为一后进行微调，我们的多任务微调方法表现更优。此外，MFTCoder具备高效训练特征，包括提供高效的数据Tokenization模式，支持PEFT微调和全量微调，能有效提升微调训练速度并降低对资源的需求。
2024-06-06 10:35:57
975
原创 ICDE2024 ｜VDTuner：向量数据库自动调优技术
在本文中，我们提出了 VDTuner，这是一种基于学习的性能调优框架，可优化向量数据库索引和系统配置。VDTuner积极地在搜索速度和召回率之间取得平衡，并通过轮询结构、专门的代理模型和自动预算分配策略提供更好的性能。广泛的评估证明 VDTuner 是有效的，在调整效率方面显著优于基准，并且可针对不断变化的用户偏好和成本意识目标进行扩展。未来，我们希望将 VDTuner 扩展到在线版本，以主动捕获不同的工作负载。
2024-05-07 18:09:18
1442
1
原创 对话蚂蚁李建国：当前AI写代码相当于L2.5，实现L3后替代50%人类编程
超70%代码问题，单纯靠基座大模型是解决不了的；未来3-5年，人类50%编程工作可以被替代，有些环节甚至完全自动化。蚂蚁集团代码大模型CodeFuse负责人李建国说道。当下，AI代码生成领域正在野蛮式生长，巨头涌入，AI员工频频上线企业；首个AI程序员Devin被曝造假…… 面对风起云涌的代码生成变革，李建国给出了这样一个明确论断。是谁？清华大学博士，机器学习、深度学习深耕十余年，论文被引万余次。在他的带领下，蚂蚁内部正全面推行AI编程。每周已有使用CodeFuse，目前。
2024-04-24 11:12:58
1052
1
原创 变革来袭！多Agent框架MuAgent带你解锁代码开发新姿势
在这个信息技术爆炸的时代，我们都知道大型语言模型（LLM）拥有处理复杂问题的能力，但当遇到编程难题这种更高级的挑战时，单独的LLM Agent可能就不够看了。社区里动起了脑筋，玩出了新花样——组合多个Agent来应对高难度挑战！正如Multi Agent的构建过程所示，与其说我们是在设计Agents，不如说是对当前需求的深入理解后去构建出一条专属于某个场景的SOP。功能演示：在muAgent里能够实现本地代码库的问答功能1、能够支持java代码库导入，并转换成向量数据、图数据以及传统数据
2024-04-24 10:37:54
1973
原创 CodeFuse代码优化实战：Java日期格式化时如何正确表示年份？
代码优化，是 CodeFuse 插件推出的功能之一，它可以对选定代码段进行分析理解，提出优化和改进建议。还能直接基于改进建议形成代码补丁，帮助开发者写出更好的代码。安装CodeFuse插件后，选中代码右键即可使用代码优化功能。
2024-03-15 11:21:50
524
原创 CodeFuse-VLM 开源，支持多模态多任务预训练/微调
随着huggingface开源社区的不断更新，会有更多的vision encoder 和 LLM 底座发布，这些vision encoder 和 LLM底座都有各自的强项，例如 code-llama 适合生成代码类任务，但是不适合生成中文类的任务，因此用户常常需要根据vision encoder和LLM的特长来搭建自己的多模态大语言模型。针对多模态大语言模型种类繁多的落地场景，我们搭建了CodeFuse-VLM 框架，支持多种视觉模型和语言大模型，使得MFT-VLM可以适应不同种类的任务。
2024-02-05 16:41:26
1406
1
原创 CodeFuse成功支持通义千问算法大赛，评测方案已开源
前段时间， 首届通义千问AI挑战赛成功举办，CodeFuse 为大赛提供技术支持，模型微调框架 MFTCoder 和 CodeFuseEval 评测框架为大赛保驾护航，助力大赛圆满完成。我们基于leetcode 阿里和蚂蚁最新面试题库建设了“模型赛马”在线打榜的评测方案，目前验证集已作为 CodefuseEval 的一项任务在 Github 上开放，欢迎大家下载使用。
2024-02-02 10:36:11
1304
原创 CodeFuse新开源模型荣登Big Code评测榜首！
对于NLP通用能力测试，我们参照OpenCompass选择了18个评测集，包括语言能力（AFQMC、CHID、Wic、WSC）、推理能力（COPA、CMNLI、OCNLI、Ax-b、Ax-g、RTE）、理解能力（CSL、C3、EPRSTMT）、学科综合能力（MMLU、C-Eval、ARC-c）、代码能力（HumanEval、MBPP）。MFTCoder已经开源，本文中提到的模型和数据集也在陆续开源中，如果您喜欢我们的工作，欢迎试用、指正错误和贡献代码，可以的话请给我们的项目增加Star以支持我们。
2024-01-30 17:41:43
1695
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人