- 博客(69)
- 收藏
- 关注
RSS订阅原创 图索引性能提升 400%：详解 VSAG 向量检索框架
VSAG 提出了一个开源的近似最近邻搜索（ANNS）框架，可广泛应用于大多数基于图的索引结构。VSAG 通过软件预取、确定性访问的贪心搜索以及部分冗余存储（PRS）等技术，显著降低了缓存未命中率，提升了内存访问效率。框架设计了三层参数自动调优机制，根据不同参数的调优复杂度和影响层级，分别进行环境级、查询级和索引级的自适应优化。同时，VSAG 融合量化技术和选择性重排序策略，将低精度与高精度距离计算有机结合，在保证检索精度的同时大幅减少计算开销。
2025-12-30 16:30:02
795
原创 DeepInsight x ChatBI：“智能歧义识别+知识沉淀”，化解模糊查询
业务同学正日益习惯用自然语言直接进行数据分析。然而，随着“听懂”不再是唯一挑战，“问准”成为了新的关键瓶颈。用户一句看似简单的“看下高价值用户的近30天复购率”，背后可能隐藏着多重歧义（如“高价值”定义、“近30天”口径、“复购”统计方式），导致各类数据Agent理解存在偏差我们以常见的歧义表述“看下高价值用户的近30天复购率”为例，来说明当前流程下用户的核心痛点。总结：当前自然语言分析产品在解决语义歧义时，普遍存在以下问题，严重阻碍用户体验和效率：1.歧义识别依赖多轮对话，效率低下：用户初始表达常存在歧义
2025-12-15 18:39:09
523
原创 Deepinsight x ChatBI：个人Agent助手养成计划
这里我为什么取名为“个人Agent助手养成计划”，可以理解为个人Agent助手相当于你新招的一个员工，开始他可能什么也不会，双方也不太了解，而在不断使用的过程中，你慢慢理解怎么使用它，它也更懂你，而最终它会成为你一个很好的助理。它和人一样，需要不断学习，才能解决更多的问题。在这个过程中，我们需要不断对它进行调教。今天这篇文章，我们就看如何把它“打造成你的个人Agent助手要用好它就需要知道它的“习性”，如何一步一步养成能够解决实际问题的专业助理。
2025-12-05 11:19:49
634
原创 官宣：Ray 正式加入 PyTorch 基金会
https://www.anyscale.com/blog/ray-by-anyscale-joins-pytorch-foundation 译文
2025-10-31 16:32:48
561
原创 Ray Forward 2025 定档 12 月 20 日北京！议题征集通道已开放
由蚂蚁集团发起的 Ray 中文社区与蚂蚁开源联合主办的 Ray Forward 2025，将于 12 月 20 日在北京蚂蚁 T 空间正式启幕，以 “拥抱 AI，Ray 向未来” 为主题，邀您共探下一代智能计算架构的进化方向。
2025-10-31 16:09:25
303
原创 活动速递｜VeloxCon China 将于12月13日在北京举办，议题征集已开放！
在商业智能与 AI/ML 技术深度融合的今天，数据处理效率已成为企业突破增长瓶颈的核心竞争力。而 Velox 作为一款开源统一执行引擎，正以革命性的技术架构改写数据处理的游戏规则 —— 它凭借先进的向量化技术、编码感知的自适应执行方式，以及对现代硬件性能的极致挖掘，让 Presto、Spark 等主流数据平台与 AI/ML 工作负载的运行效率实现质的飞跃。现在，中国数据领域的从业者们迎来了与 Velox 深度对话的绝佳契机：Velox 首届中国大会（VeloxCon China 2025）将于在北京举办。
2025-10-30 14:38:41
408
原创 从 VLDB‘25 看向量数据库发展方向：行业观察与技术前瞻
第 51 届国际大型数据库会议（The 51st International Conference on Very Large Data Bases，简称VLDB 2025）是数据管理、数据库系统与大规模数据处理领域最具影响力的国际顶级学术会议之一。本届 VLDB 在于2025 年 9 月 1 日至 9 月 5 日在英国伦敦Queen Elizabeth II Centre (QEII Centre) 举办。近年来，向量检索由于其在检索和大模型相关领域的广泛应用，备受学界和业界的关注。
2025-10-30 11:33:32
1255
原创 DB-GPT 0.7.4 版本更新｜开源蚂蚁集团Text2SQL数据集：Falcon、支持GLM-4.5大模型
DB-GPT 0.7.4 版本更新，快速预览新特性
2025-10-27 10:47:55
1055
原创 OpenSPG/KAG 0.8发布：可配置知识库索引 x 拥抱接入MCP x 系统接口完善，多跳问答效果持续领先
我们正式发布KAG 0.8版本，本次更新旨在持续提升大模型利用知识库推理问答的一致性、严谨性和精准性，并引入了多项重要功能特性。首先，我们升级了KAG 知识库的能力。扩展了私域知识库（含结构化、非结构化数据）、公网知识库 两种模式，支持通过MCP 协议引入LBS、WebSearch 等公网数据源。
2025-09-04 15:03:16
808
原创 在 Ray Data 和 Ray Serve 中推出原生 LLM API
https://www.anyscale.com/blog/llm-apis-ray-data-serve 译文2025年4月2日，我们激动地宣布在 Ray Data 和 Ray Serve 中为 LLM 推理提供原生 API。随着 LLM 在现代 AI 基础设施部署中变得越来越核心，平台需要能够高效地部署和扩展这些模型。虽然 Ray Data 和 Ray Serve 很适合快速部署和扩展这些模型，但开发人员必须编写大量冗余代码才能利用这些库来扩展 LLM 应用程序。
2025-09-03 15:13:07
714
原创 FlexQuant: 大模型组合量化，助力推理SLO
本文基于不同量化算法在不同阶段、不同负载下的速度和精度表现，设计了一种组合量化机制FlexQuant，可以更全面、更轻松拿下精度、速度以及延迟和吞吐等SLO诉求，方案部署友好，直接有效，值得参考。
2025-09-01 15:18:45
1288
原创 大模型训练推理优化(5)： FlexLink —— NVLink 带宽无损提升27%
本期我们将介绍蚂蚁集团ASystem团队在大模型通信优化上的新工作FlexLink，旨在通过动态聚合多路通信（NVLink，PCIe，RDMA），在H800等典型硬件上将典型通信算子如（AllReduce, All Gather）吞吐提升最高达27%，尤其适合大模型长序列推理（Prefill阶段），及训练等通信密集的带宽bound场景。多通道并发传输：聚合NVLink，PCIe，RDMA网卡等多个物理上独立的传输通道，将一次大的通信传输操作，拆分到多个链路并发执行，以提高总带宽。这种模式虽简洁高效，却。
2025-08-28 15:04:25
1280
原创 Apache Fory 从 Apache 基金会毕业，正式成为顶级项目
Apache Fory 是一个基于 JIT 动态编译和零拷贝技术的多语言序列化框架，专为分布式系统和高性能计算场景设计，支持 Java/Python/JavaScript/Golang/ Scala/Kotlin/Rust 等语言。
2025-08-25 10:16:17
1309
原创 DB-GPT 0.7.3 版本更新：支持Qwen3 Embedding和Reranker模型、支持知识库自定义检索策略等
DB-GPT 0.7.3版本现已上线，快速预览新特性～
2025-08-01 10:17:00
1746
原创 Apache Fory 新晋 Committer 娄少昆：“我的代码让一个很酷但遥远的目标成真！”
一起走近用代码编织跨语言数据之网的Committer
2025-07-08 16:10:40
1006
原创 大模型推理显存优化系列(3)：FlowMLA——面向高吞吐的DP MLA零冗余显存优化
本文将介绍蚂蚁集团ASystem团队在推理显存优化上的新工作FlowMLA
2025-07-04 10:15:25
1321
原创 DB-GPT V0.7.2 版本更新：图表组件可视化增强、支持混合搜索 、支持DeepSeek-R1-0528模型等
DB-GPT V0.7.2版本现已上线，快速预览新特性～
2025-06-16 10:34:08
1003
原创 品牌形象全面升级｜Apache Fory：破界新生，开启高性能序列化新纪元
2025年6月11日，Apache Fury 品牌全面升级，正式更名为 Apache Fory，并发布全新 Logo。此项变更涉及项目所有组件，包括代码仓库、软件包命名、文档及传播渠道。
2025-06-11 18:21:20
1497
原创 万字长文详解｜DLRover LLM Agent：大模型驱动的高效集群资源调优
本文介绍了DLRover LLM Agent，展示了基于 LLM 上下文学习能力的优化算法设计理念以及在DLRover 资源调优上的应用方法和效果。
2025-06-06 15:01:56
1295
原创 最高万元奖金｜2025开源之夏x蚂蚁数据智能，12大硬核任务等你解锁
蚂蚁数据智能团队为大家整理汇总了12个硬核项目，覆盖大模型、大数据、数据库等前沿领域，（Apache Fury、Apache HoraeDB、DB-GPT、DLRover、VSAG）五大开源产品的研发项目等你参与！专属导师1对1指导，从基础项目到进阶项目，快来pick你感兴趣的项目～🎉⏳6月9日截止，立即申请 →
2025-05-30 13:50:44
1000
原创 千亿级向量索引的秘密武器：一文详解蚂蚁集团的工程实践和开源突破
本文围绕向量检索技术的研究与实践展开系统性阐述，包含以下四个维度：1.向量检索的基础原理以及相关的核心技术挑战；2.蚂蚁集团在向量检索领域的工程实践和具体案例；3.向量检索领域的最新学术研究和应用成果；4.蚂蚁开源向量索引库VSAG的最新进展。
2025-05-21 11:47:46
1424
原创 DB-GPT V0.7.1 版本更新：支持多模态模型、支持 Qwen3 系列，GLM4 系列模型 、支持Oracle数据库等
V0.7.1版本现已上线，快速预览新特性
2025-04-30 18:07:03
1559
原创 ICLR 2025 | EDiT：一种基于 Local SGD 策略的大模型高效分布式训练方法
本文分析了在大规模集群中使用现有分布式训练方法训练 LLM 时存在的问题，并进一步分析了现有解决方案——Local SGD 方法存在的问题。在此基础上，提出了一种叫做 EDiT 的针对 LLM 的新颖的高效分布式训练方法。
2025-04-24 16:12:13
1067
原创 DB-GPT V0.7.0版本更新：支持MCP协议、集成DeepSeek R1模型、GraphRAG检索链路增强、架构全面升级等
DB-GPT是一个开源的AI原生数据应用开发框架(AI Native Data App Development framework with AWEL and Agents)，在V0.7.0版本中，我们对DB-GPT模块包进行架构治理，将原有模块包进行分拆，重构了整个框架配置体系，提供了更加清晰，更加灵活，更加可扩展的围绕大模型构建AI原生数据应用管理与开发能力。
2025-03-26 15:12:16
3322
原创 DeepSeek 3FS解读与源码分析（5）：客户端解读
这样的好处和坏处都很鲜明：好处是 SDK 的实现能避免跨进程的通信开销，性能能达到理想的极限；这同时也是 USRBIO 方案的好处，它的客户端这一侧 API 相对较薄，逻辑也相对稳定，没有太多升级的压力，另外 Fuse 进程承担了和元数据以及 Storage 的通信，这样对上层推理或者训练业务的影响也就会较小。在处理过程中考虑了取消任务的设计，这里使用了一个 co_withCancellation 来封装，它能够在异步操作中优雅地处理任务取消，避免不必要的计算或资源占用，并且支持嵌套任务的取消感知。
2025-03-19 14:41:30
1749
原创 DeepSeek 3FS解读与源码分析（4）：Meta Service解读
在当今数字化时代，随着数据量的爆炸性增长，分布式文件系统已成为处理大规模数据存储和访问的核心技术之一。DeepSeek 开源的 3FS（Fire-Fly File System）作为一款高性能、高可用的分布式文件系统，凭借其创新的设计和强大的功能，吸引了众多开发者的关注。其中，Meta Service 作为 3FS 的核心组件之一，承担着元数据管理的关键职责，是整个文件系统高效运行的基石。在本文中，我们将深入探讨 3FS 中 Meta Service 的架构设计、关键特性以及其实现机制。
2025-03-19 14:02:43
1527
1
原创 DeepSeek 3FS解读与源码分析（3）：Storage模块解读
2025年2月28日，DeepSeek 正式开源其颠覆性文件系统Fire-Flyer 3FS（以下简称3FS），重新定义了分布式存储的性能边界。本文将结合代码和design_notes 对storage部分进行分析和探讨。
2025-03-14 15:04:36
2202
1
原创 大模型存储的 “最后一公里” ：蚂蚁大模型存储加速系统 PCache 如何解决万亿参数训练难题？
本文尝试通过当前学术和工业界在大模型存储领域的关注点和相关工作，并结合蚂蚁大模型训练场景实际的需求和问题，来介绍蚂蚁是如何在多云环境里构建一套具备高可用性、高性能以及低成本的云原生 AI 存储加速系统 PCache；并通过该存储方案在蚂蚁支持了百亿文件规模的多模态和万亿参数的 MOE 训练任务。
2025-03-07 18:23:24
1672
原创 Deepseek 3FS解读与源码分析（2）：网络通信模块分析
本文基于 3FS 网络通信模块的机制原理和源代码进行了初步分析。整体来说 3FS 的实现涉及到非常多的细节优化，通信模块和存储模块的设计环环相扣，交相呼应，展示了极高水平的存储架构设计。
2025-03-04 18:20:26
2907
原创 DeepSeek 3FS解读与源码分析（1）：高效训练之道
https://github.com/deepseek-ai/3FS/blob/main/docs/design_notes.md3FS 满足 AI 处理过程中的大部分场景：Training data preprocessing数据集的预处理需求。Dataset loading训练过程中的数据集读取需求 。Checkpointing训练过程中，高并发 checkpoint 文件的写入。KVCache for Inference为 KVCache 提供了比 DRAM 更加经济的替代方案，提供更低的成本和更大的
2025-03-04 17:32:46
2055
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人