RAG新框架GoMate：可靠的输入，可信的输出

最新推荐文章于 2025-03-27 10:09:23 发布

爱喝白开水a

最新推荐文章于 2025-03-27 10:09:23 发布

阅读量537

点赞数 4

文章标签：人工智能数据库大语言模型计算机技术 transformer ai大模型 embedding

本文链接：https://blog.youkuaiyun.com/python123456_/article/details/140381051

版权

GoMate是一款配置化模块化的RAG（Retrieval-Augmented Generation ）框架，它的设计核心在于其高度的可配置性和模块化，旨在提供可靠的输入与可信的输出（“Reliable input,Trusted output”）。

整个框架提供一个从数据输入到最终响应输出的完整流程，涵盖了数据处理、查询理解、信息检索、结果优化、上下文理解、内容生成、后处理和评估等多个方面

数据准备：包括数据摄入、清洗、分块、嵌入和索引。
查询理解：涉及查询的预处理、转换、路由和重写。
信息检索：通过不同的检索器（密集、多向量、稀疏、集成）进行信息检索。
结果优化：包括结果的重排、判断、压缩、细化和过滤。
上下文与提示：通过提示工程和上下文添加来增强查询理解。
生成响应：使用语言模型（如RAG链和RAFT）生成长上下文响应。
后处理：对生成的内容进行编辑、敏感词过滤和异常检测。
响应输出：格式化响应并进行问题推荐。
评估反馈：通过RagEval等工具进行效果评估。

GoMate效果体验：

可以配置本地模型路径
class ApplicationConfig:    l
    lm_model_name = '/data/users/searchgpt/pretrained_models/chatglm3-6b'  # 本地模型文件 or huggingface远程仓库    
    embedding_model_name = '/data/users/searchgpt/pretrained_models/bge-reranker-large'  # 检索模型文件 or huggingface远程仓库
    vector_store_path = './storage'    
    docs_path = './data/docs'

python app.py

浏览器访问：127.0.0.1:7860