RagFlow 完全指南（一）：从零搭建开源大模型应用平台（Ollama、VLLM本地模型接入实战）

1. 相关资源

• 官网
• GitHub
• 文档中心

2. 核心特性

• 🍭 “Quality in, quality out”
  • 基于深度文档理解，能够从各类复杂格式的非结构化数据中提取真知灼见。
  • 真正在无限上下文（token）的场景下快速完成大海捞针测试。
• 🍱 基于模板的文本切片
  • 不仅仅是智能，更重要的是可控可解释。
  • 多种文本模板可供选择。
• 🌱 有理有据、最大程度降低幻觉（hallucination）
  • 文本切片过程可视化，支持手动调整。
  • 有理有据：答案提供关键引用的快照并支持追根溯源。
• 🍔 兼容各类异构数据源
  • 支持丰富的文件类型，包括 Word 文档、PPT、excel 表格、txt 文件、图片、PDF、影印件、复印件、结构化数据、网页等。
• 🛀 全程无忧、自动化的 RAG 工作流
  • 全面优化的 RAG 工作流可以支持从个人应用乃至超大型企业的各类生态系统。
  • 大语言模型 LLM 以及向量模型均支持配置。
  • 基于多路召回、融合重排序。
  • 提供易用的 API，可以轻松集成到各类企业系统。

3. 安装与部署

3.1 环境准备

• 依赖工具：安装 Docker 与 Docker Compose。

• 系统要求：

  # 查看vm.max_map_count值，要求其不能小于 262144
  sysctl vm.max_map_count
  # 小于的话，进行设置
  sudo sysctl -w vm.max_map_count=262144
  # 永久生效，修改 /etc/sysctl.conf
  vim /etc/sysctl.conf
  # 修改文件中以下内容
  vm.max_map_count=262144
  

3.2 部署RagFlow

cd ~