Fed-RAG项目v0.0.24版本发布：知识存储与检索系统的重要升级

Fed-RAG项目v0.0.24版本发布：知识存储与检索系统的重要升级

fed-rag A framework for federated fine-tuning of retrieval-augmented generation (RAG) systems. 项目地址: https://gitcode.com/gh_mirrors/fe/fed-rag

Fed-RAG是一个专注于联邦学习环境下检索增强生成（Retrieval-Augmented Generation）技术的开源项目。该项目旨在构建一个分布式、隐私保护的智能问答和信息检索系统，通过将知识存储与生成模型分离，实现更高效、更安全的知识管理。

知识存储系统的重大改进

本次v0.0.24版本带来了知识存储系统的多项重要升级，其中最核心的是引入了NoEncodeBaseKnowledgeStore和NoEncodeAsyncBaseKnowledgeStore这两个基础类。这些类为不需要编码的知识存储提供了标准接口，使得系统能够更灵活地处理不同类型的知识表示。

NoEncode前缀的设计理念是允许系统直接操作原始知识表示，而不强制进行向量编码转换。这种设计特别适合以下场景：

1. 知识已经预先编码并存储在其他系统中
2. 需要直接操作原始文本或其他非向量形式的知识
3. 系统需要与不支持向量编码的外部系统集成

新型RAG系统的引入

配合新的知识存储系统，项目新增了四种RAG系统实现：

1. NoEncodeRAGSystem - 同步版本的非编码RAG系统
2. AsyncNoEncodeRAGSystem - 异步版本的非编码RAG系统
3. AsyncRAGSystem - 通用的异步RAG系统
4. 同步/异步转换方法 - 新增的to_sync()方法允许在异步和同步系统间灵活转换

这些系统实现提供了完整的检索增强生成流程，从知识检索到答案生成的完整链路。异步版本特别适合高并发场景，能够更好地利用现代计算资源。

MCP知识存储组件的创新

MCP（Memory-Centric Processing）知识存储是本版本的另一大亮点。MCPKnowledgeStore实现了一种不依赖编码的知识存储方案，具有以下特点：

1. 支持多种知识源接入，包括标准IO和HTTP流式接口
2. 内置重排序回调机制，允许自定义检索结果的排序逻辑
3. 提供了BaseMCPKnowledgeSource基类，统一了不同接入方式的设计模式

MCP组件特别适合需要快速原型开发或与现有系统集成的场景。开发者可以通过简单的配置就能将现有知识库接入Fed-RAG系统。

基准测试与兼容性增强

本次更新还包含了多项基准测试和兼容性改进：

1. 新增了多个基准测试场景，扩展了系统评估维度
2. 添加了LangChain桥接支持，提高了与流行AI开发框架的互操作性
3. 加强了框架版本验证机制，确保系统组件的兼容性

这些改进使得Fed-RAG能够更好地融入现有的AI开发生态，同时也为性能优化提供了更全面的评估工具。

实际应用与最佳实践

项目文档中新增了一个实用的Cookbook示例，展示了如何构建一个基于AsyncNoEncodeRAGSystem和MCPKnowledgeStore的完整系统。这个示例涵盖了从知识接入到问答生成的全流程，为开发者提供了即用的参考实现。

对于需要快速上手的开发者，建议从MCP组件开始探索，它提供了最简单直接的接入方式。而对于需要深度定制的场景，则可以考虑基于NoEncode系列基类开发专用实现。

总结

Fed-RAG v0.0.24版本标志着项目在知识存储和检索能力上的重大进步。通过引入非编码存储方案、增强的异步支持和新的MCP组件，该系统现在能够适应更广泛的应用场景，从简单的原型开发到大规模生产部署。这些改进不仅提高了系统的灵活性，也为联邦学习环境下的知识管理提供了新的可能性。

fed-rag A framework for federated fine-tuning of retrieval-augmented generation (RAG) systems. 项目地址: https://gitcode.com/gh_mirrors/fe/fed-rag