HuixiangDou 开源项目教程

HuixiangDou 开源项目教程

HuixiangDou HuixiangDou: Overcoming Group Chat Scenarios with LLM-based Technical Assistance 项目地址: https://gitcode.com/gh_mirrors/hu/HuixiangDou

1. 项目介绍

HuixiangDou 是一个基于大型语言模型（LLM）的专业知识助手。它设计了一个三阶段的处理流程，包括预处理、拒绝和响应，以应对群聊场景，无需训练即可在 CPU-only、2G、10G 配置下工作。该项目提供了一套完整的应用程序源代码，包括 Web、Android 和管道，适合工业级和商业用途。

2. 项目快速启动

以下是快速启动 HuixiangDou 项目的步骤：

环境准备

首先，确保您的系统已安装以下依赖项：

# 安装系统依赖
apt update
apt install python-dev libxml2-dev libxslt1-dev antiword unrtf poppler-utils pstotext tesseract-ocr flac ffmpeg lame libmad0 libsox-fmt-mp3 sox libjpeg-dev swig libpulse-dev

# 安装 Python 依赖
pip install -r requirements.txt

# 注意：对于 python3.8，需要安装 faiss-gpu 而不是 faiss

创建知识库

使用以下命令创建知识库：

# 创建知识库目录
mkdir repodir

# 下载示例知识库，或将您自己的文档放入 repodir 目录下
cd HuixiangDou
cp -rf resource/data/* repodir/

# 构建知识库
mkdir workdir
python3 -m huixiangdou.service.feature_store

配置 LLM API 和测试

在 config.ini 文件中设置模型和 api-key。如果本地运行 LLM，建议使用 vllm。

[llm.server]
remote_type = "vllm"
remote_api_key = "EMPTY"
remote_llm_model = "Qwen2.5-7B-Instruct"

启动 LLM 服务：

vllm serve /path/to/Qwen-2.5-7B-Instruct --enable-prefix-caching --served-model-name Qwen-2.5-7B-Instruct

运行测试：

# 执行测试命令

3. 应用案例和最佳实践

（此部分应包含实际使用案例和最佳实践，具体内容需根据项目实际应用情况进行编写。）

4. 典型生态项目

（此部分应列出与 HuixiangDou 相关的典型生态项目，具体内容需根据项目生态情况编写。）

HuixiangDou HuixiangDou: Overcoming Group Chat Scenarios with LLM-based Technical Assistance 项目地址: https://gitcode.com/gh_mirrors/hu/HuixiangDou