LLM应用实战: 文档问答系统Kotaemon-1. 简介及部署实践

1.背景

本qiang~这两周关注到一个很火的开源文档问答系统Kotaemon，从8月28日至今短短两周时间，github星标迅猛增长10K，因此计划深挖一下其中的原理及奥秘。

本篇主要是Kotaemon的简介信息，涉及到主要特点，与传统文档RAG的区别，如何部署、以及效果演示。

后续内容会针对核心模块进行拆解研读，敬请期待~

2.简介

Kotaemon是一个RAG UI页面，主要面向DocQA的终端用户和构建自己RAG pipeline的开发者。

2.1终端用户

1)提供了一个基于RAG问答的简单且最小化的UI界面

2)支持诸多LLM API提供商(如OpenAI, Cohere)和本地部署的LLM(如ollama和llama-cpp-python)

2.2开发者

1)提供了一个构建RAG文档问答pipeline的框架

2)使用Gradio开发，基于提供的UI可以自定义并查看RAG pipeline的运行过程

3.主要特点

1)托管自己的QA Web UI: 支持多用户登录，支持文件私有或公开，支持与他人协助分享

2)管理LLM和Embedding模型: 支持本地LLM和流行的API提供商

3)混合RAG pipeline: 支持全文本和向量的混合检索，以及re-ranking来保障检索质量

4)支持多模态文档：支持对含有图片及表格的N多个文档进行问答，支持多模态文档解析

5)带有高级引文的文档预览: 系统默认提供具体的引用信息，保障LLM回答的准确性。直接在浏览器内的PDF查阅器查看引文，并高亮显示。

6)支持复杂推理方法：使用问题分解来回答复杂/多跳问题。支持使用ReAct、ReWoo及其他Agent进行推理