- 博客(53)
- 收藏
- 关注
RSS订阅原创 Apache Fory 新晋 Committer 娄少昆：“我的代码让一个很酷但遥远的目标成真！”
一起走近用代码编织跨语言数据之网的Committer
2025-07-08 16:10:40
741
原创 大模型推理显存优化系列(3)：FlowMLA——面向高吞吐的DP MLA零冗余显存优化
本文将介绍蚂蚁集团ASystem团队在推理显存优化上的新工作FlowMLA
2025-07-04 10:15:25
974
原创 DB-GPT V0.7.2 版本更新：图表组件可视化增强、支持混合搜索 、支持DeepSeek-R1-0528模型等
DB-GPT V0.7.2版本现已上线，快速预览新特性～
2025-06-16 10:34:08
909
原创 品牌形象全面升级｜Apache Fory：破界新生，开启高性能序列化新纪元
2025年6月11日，Apache Fury 品牌全面升级，正式更名为 Apache Fory，并发布全新 Logo。此项变更涉及项目所有组件，包括代码仓库、软件包命名、文档及传播渠道。
2025-06-11 18:21:20
1088
原创 万字长文详解｜DLRover LLM Agent：大模型驱动的高效集群资源调优
本文介绍了DLRover LLM Agent，展示了基于 LLM 上下文学习能力的优化算法设计理念以及在DLRover 资源调优上的应用方法和效果。
2025-06-06 15:01:56
1080
原创 最高万元奖金｜2025开源之夏x蚂蚁数据智能，12大硬核任务等你解锁
蚂蚁数据智能团队为大家整理汇总了12个硬核项目，覆盖大模型、大数据、数据库等前沿领域，（Apache Fury、Apache HoraeDB、DB-GPT、DLRover、VSAG）五大开源产品的研发项目等你参与！专属导师1对1指导，从基础项目到进阶项目，快来pick你感兴趣的项目～🎉⏳6月9日截止，立即申请 →
2025-05-30 13:50:44
870
原创 千亿级向量索引的秘密武器：一文详解蚂蚁集团的工程实践和开源突破
本文围绕向量检索技术的研究与实践展开系统性阐述，包含以下四个维度：1.向量检索的基础原理以及相关的核心技术挑战；2.蚂蚁集团在向量检索领域的工程实践和具体案例；3.向量检索领域的最新学术研究和应用成果；4.蚂蚁开源向量索引库VSAG的最新进展。
2025-05-21 11:47:46
1020
原创 DB-GPT V0.7.1 版本更新：支持多模态模型、支持 Qwen3 系列，GLM4 系列模型 、支持Oracle数据库等
V0.7.1版本现已上线，快速预览新特性
2025-04-30 18:07:03
1345
原创 ICLR 2025 | EDiT：一种基于 Local SGD 策略的大模型高效分布式训练方法
本文分析了在大规模集群中使用现有分布式训练方法训练 LLM 时存在的问题，并进一步分析了现有解决方案——Local SGD 方法存在的问题。在此基础上，提出了一种叫做 EDiT 的针对 LLM 的新颖的高效分布式训练方法。
2025-04-24 16:12:13
855
原创 DB-GPT V0.7.0版本更新：支持MCP协议、集成DeepSeek R1模型、GraphRAG检索链路增强、架构全面升级等
DB-GPT是一个开源的AI原生数据应用开发框架(AI Native Data App Development framework with AWEL and Agents)，在V0.7.0版本中，我们对DB-GPT模块包进行架构治理，将原有模块包进行分拆，重构了整个框架配置体系，提供了更加清晰，更加灵活，更加可扩展的围绕大模型构建AI原生数据应用管理与开发能力。
2025-03-26 15:12:16
2529
原创 DeepSeek 3FS解读与源码分析（5）：客户端解读
这样的好处和坏处都很鲜明：好处是 SDK 的实现能避免跨进程的通信开销，性能能达到理想的极限；这同时也是 USRBIO 方案的好处，它的客户端这一侧 API 相对较薄，逻辑也相对稳定，没有太多升级的压力，另外 Fuse 进程承担了和元数据以及 Storage 的通信，这样对上层推理或者训练业务的影响也就会较小。在处理过程中考虑了取消任务的设计，这里使用了一个 co_withCancellation 来封装，它能够在异步操作中优雅地处理任务取消，避免不必要的计算或资源占用，并且支持嵌套任务的取消感知。
2025-03-19 14:41:30
1265
原创 DeepSeek 3FS解读与源码分析（4）：Meta Service解读
在当今数字化时代，随着数据量的爆炸性增长，分布式文件系统已成为处理大规模数据存储和访问的核心技术之一。DeepSeek 开源的 3FS（Fire-Fly File System）作为一款高性能、高可用的分布式文件系统，凭借其创新的设计和强大的功能，吸引了众多开发者的关注。其中，Meta Service 作为 3FS 的核心组件之一，承担着元数据管理的关键职责，是整个文件系统高效运行的基石。在本文中，我们将深入探讨 3FS 中 Meta Service 的架构设计、关键特性以及其实现机制。
2025-03-19 14:02:43
1187
1
原创 DeepSeek 3FS解读与源码分析（3）：Storage模块解读
2025年2月28日，DeepSeek 正式开源其颠覆性文件系统Fire-Flyer 3FS（以下简称3FS），重新定义了分布式存储的性能边界。本文将结合代码和design_notes 对storage部分进行分析和探讨。
2025-03-14 15:04:36
1506
1
原创 大模型存储的 “最后一公里” ：蚂蚁大模型存储加速系统 PCache 如何解决万亿参数训练难题？
本文尝试通过当前学术和工业界在大模型存储领域的关注点和相关工作，并结合蚂蚁大模型训练场景实际的需求和问题，来介绍蚂蚁是如何在多云环境里构建一套具备高可用性、高性能以及低成本的云原生 AI 存储加速系统 PCache；并通过该存储方案在蚂蚁支持了百亿文件规模的多模态和万亿参数的 MOE 训练任务。
2025-03-07 18:23:24
1226
原创 Deepseek 3FS解读与源码分析（2）：网络通信模块分析
本文基于 3FS 网络通信模块的机制原理和源代码进行了初步分析。整体来说 3FS 的实现涉及到非常多的细节优化，通信模块和存储模块的设计环环相扣，交相呼应，展示了极高水平的存储架构设计。
2025-03-04 18:20:26
2188
原创 DeepSeek 3FS解读与源码分析（1）：高效训练之道
https://github.com/deepseek-ai/3FS/blob/main/docs/design_notes.md3FS 满足 AI 处理过程中的大部分场景：Training data preprocessing数据集的预处理需求。Dataset loading训练过程中的数据集读取需求 。Checkpointing训练过程中，高并发 checkpoint 文件的写入。KVCache for Inference为 KVCache 提供了比 DRAM 更加经济的替代方案，提供更低的成本和更大的
2025-03-04 17:32:46
1493
原创 交了个新朋友！DB-GPT 牵手 Gitee AI，加速数据智能应用开发落地
近日，DB-GPT 与Gitee AI 正式达成合作，在 DB-GPT 平台中开发者能够更便捷地使用 Gitee AI 提供的丰富模型资源，加速从模型选择到应用落地的开发流程。
2025-01-13 18:18:23
723
原创 请回答 2024，属于 DB-GPT 开发者与用户的年度记忆
2022 年 11 月，ChatGPT 横空出示，这也打开了大模型的潘多拉魔盒。对技术人来讲，这是最好的时代，我们目睹了无数的惊喜，看到了技术的 ♾️ 种可能。DB-GPT 在这样的土壤下被播种，我们赋予了“她”最美好的祝愿和对未来的无限想象。在 2024 这一年里，DB-GPT 迎来了全新的进化，岁末年初，我们想邀请你共同回顾属于 DB-GPT 用户和开发者的 2024 年度记忆。
2025-01-10 15:04:27
318
原创 蚂蚁数据12月大事件 | Apache HoraeDB 发布 2.0.0 版本，DB for AI 成都站顺利召开...
✨ DB-GPT V0.6.3 版本更新：支持 SiliconCloud 模型、新增知识处理工作流支持 SiliconCloud 模型，让用户体验多模型的管理能力新增知识处理工作流，支持Embedding加工，知识图谱加工，混合知识加工处理ChatData 场景支持 OceanBase 向量可视化GraphRAG 社区总结优化，通过并行总结抽取提升索引构建性能ChatData 针对大宽表场景进行Schema-Linking优化聊天对话支持 max output tokens 参数。
2025-01-09 18:24:20
922
原创 万字长文讲透 RAG在实际落地场景中的优化
聚焦RAG在实际落地场景中的知识加工和检索细节，如何去优化RAG Pineline链路，最终提升召回准确率。
2024-12-31 17:27:51
1257
原创 流批一体向量化计算引擎 Flex 在蚂蚁的探索和实践
Flex是蚂蚁数据部自研的一款流批一体的向量化引擎，Flex是Fink和Velox的全称，也是Flexible的前缀，被赋予了灵活可插拔的寓意。本文将重点从向量化技术背景、Flex架构方案和未来规划三个方面展开论述。
2024-12-25 14:35:54
1743
原创 直播预告｜抽丝剥茧分析 RAG 应用的落地实践优化
DB-GPT直播第6期来啦～本次分享会聚焦RAG 在实际落地场景中的知识加工和检索细节，如何去优化 RAG Pineline 链路，最终提升召回准确率。
2024-12-25 11:20:45
235
原创 DB-GPT V0.6.3 版本更新：支持 SiliconCloud 模型、新增知识处理工作流等
DB-GPT V0.6.3版本现已上线，快速预览新特性~
2024-12-21 17:34:39
1851
4
原创 当 DB-GPT 遇上 SiliconCloud：让开发者高效搭建自己的专属应用
本文将分享如何通过DB-GPT使用SiliconCloud的模型，让用户体验到强大的多模型管理能力，灵活、可扩展的AI应用管理开发能力，以及在AI应用开发过程中提供全流程的更极致的用户体验。
2024-12-21 17:19:36
1315
原创 12/21 大熊猫之都我们来了！DB-GPT、OceanBase、TuGraph三大社区一起玩转 DB+AI ～
数字化浪潮下，多点零售 SaaS 在公有云、私有化面临资源成本、运维成本等挑战，如何用 OceanBase 云原生分布式数据库应对挑战与机遇。📕。
2024-12-18 11:22:29
583
原创 DB-GPT V0.6.2 版本更新：牵手libro社区、GraphRAG图谱构建能力增强等
DB-GPT V0.6.2版本现已上线，快速预览新特性：：灵活定制、轻松集成的 Notebook 产品方案。社区地址：https://github.com/difizen/libro使用教程：1.进入工作流，进入 workflow2.新建3.编写算子并执行支持三元组图谱与文档结构图谱混合分析，通过并行知识抽取提升知识图谱图谱索引构建性能。与在文档抽取token消耗，Global/Local检索性能的对比。DB-GPTGraphRAG (Microsoft)Doc Tokens4263142631Tri
2024-11-22 17:15:12
1192
原创 直播预告｜ 深入探索 DB-GPT GraphRAG 的设计解读与优化
关注 EosphorosAI视频号，持续获取直播最新动态，预约系列直播，与DB-GPT核心开发者一起提升项目运用能力！DB-GPT系列直播概览：第一期（10月8日）：DB-GPT 架构设计与源码解读 - 陈发强第二期（10月29日）：DB-GPT 智能体工作流表达式语言（AWEL）设计与源码解读 - 程方钱第三期（11月12日）：DB-GPT Agent 全解析：设计、开发使用与源码深入探讨 - 杨宏俊第四期（11月26日）：DB-GPT GraphRAG 设计解读与优化 - 范志东第五期。
2024-11-21 15:16:22
598
原创 从大数据到大模型：现代应用的数据范式
作者介绍：沈炼，蚂蚁数据部数据库内核负责人。2014年入职蚂蚁，承担蚂蚁集团的数据库架构职责，先后负责了核心链路上OceanBase，OceanBase高可用体系建设、NoSQL数据库产品建设。沈炼对互联网金融、数据库内核、数据库高可用体系等领域有着深厚的理解。沈炼秉承“止于至善”的理念，深耕互联网金融和数据库两个专业方向，保持着十年如一日的热情与专注。本文简介：在大数据和大模型的加持下，现代数据技术释放了巨大的技术红利，通过多种数据范式解除了数据的桎梏，使得应用程序达到了“心无桎梏，身无藩篱”
2024-11-18 17:20:27
1098
原创 独家直播｜Agent 应用开发实战：从设计、开发使用，到源码解读
我们根据社区征集的问卷，票选出了最受欢迎的议题，后续我们会以双周为单位为社区同学们带来大家最感兴趣的技术议题：从等议题一网打尽。目前已放送了前6期的直播内容，后续还将持续更新～
2024-11-08 11:43:47
347
原创 蚂蚁数据10月大事件 | DB-GPT V0.6.1 更新、VSAG 发布 ANN-Benchmarks 性能测试结果...
随着秋意渐浓，我们迎来了硕果累累的十月。在金秋十月，蚂蚁数据团队也有了一些新的项目进展：DB-GPT发布了全新版本，并开启了源码解读系列直播；VSAG 向量索引库在 ANN-Benchmarks 性能测试中取得显著成绩；蚂蚁数据团队两大开源项目精彩亮相ApacheCon...
2024-11-04 16:38:15
478
原创 直播回顾｜AWEL 设计与源码深度解读（视频版）
🚀 DB-GPT第二期源码解读系列直播～DB-GPT核心开发者兼架构师程方银，揭秘智能体工作流表达式语言（AWEL）的设计与源码！🌟
2024-10-31 17:51:01
613
原创 DB-GPT系列直播第二期：揭秘AWEL核心设计与源码解读！
10月29日晚7点，DB-GPT 智能体工作流表达式语言（AWEL）设计与源码解读直播！DB-GPT的核心开发者兼架构师程方银，分享实战经验，解答使用疑惑；立即行动扫码预约直播，与行业专家零距离交流～
2024-10-25 14:36:05
451
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人