闻达：一个LLM调用平台的安装和配置指南
项目地址: https://gitcode.com/gh_mirrors/we/wenda 1. 项目基础介绍和主要的编程语言
项目基础介绍
闻达（Wenda）是一个大规模语言模型（LLM）调用平台，旨在针对特定环境实现高效的内容生成。该项目考虑了个人和中小企业在计算资源上的局限性，以及知识安全和私密性问题。通过平台化集成多种能力，如知识库、多种大语言模型、Auto脚本等，闻达为用户提供了一个灵活且高效的解决方案。
主要的编程语言
闻达项目主要使用Python进行开发，同时也涉及到JavaScript、HTML、CSS等前端技术。
2. 项目使用的关键技术和框架
关键技术和框架
- 知识库：支持对接本地离线向量库、本地搜索引擎、在线搜索引擎等。
- 多种大语言模型：包括chatGLM-6B、chatGLM2-6B、chatRWKV、llama系列、moss、baichuan、Aquila-7B、InternLM等。
- Auto脚本：通过JavaScript脚本实现自定义对话流程、访问外部API、在线切换LoRA模型等功能。
- 对话历史管理：支持内网部署、多用户同时使用等实用化能力。
3. 项目安装和配置的准备工作和详细的安装步骤
准备工作
- 操作系统：Windows或Linux系统。
- Python环境：建议使用Python 3.7或更高版本。
- Git：用于克隆项目代码。
- CUDA（可选）：如果需要使用GPU加速，建议安装CUDA 11.8。
详细的安装步骤
步骤1：克隆项目代码
首先，使用Git克隆闻达项目的代码库到本地：
git clone https://github.com/wenda-LLM/wenda.git
cd wenda
步骤2：安装依赖库
在项目根目录下，使用pip安装所需的依赖库：
pip install -r requirements/requirements.txt
步骤3：下载模型
根据需要，下载对应的模型。建议使用chatRWKV的RWKV-4-Raven-7B-v11或chatGLM-6B。可以使用内置脚本从Hugging Face下载，也可以从网盘下载。
步骤4：配置参数
将example_config.yml重命名为config.yml，并根据里面的参数说明，填写你的模型下载位置等信息。
步骤5：运行项目
根据你选择的模型，运行相应的启动脚本。例如，如果你使用的是chatGLM-6B模型，可以运行：
run_GLM6B.bat
步骤6：配置知识库（可选）
如果需要生成离线知识库，可以参考项目文档中的知识库部分进行配置。
其他注意事项
- 默认参数在6G显存设备上运行良好，最新版懒人版已集成一键更新功能，建议使用前更新。
- 如果需要使用GPU加速，确保已安装CUDA 11.8，并根据需要修改配置文件中的相关参数。
通过以上步骤，你就可以成功安装和配置闻达项目，并开始使用其强大的LLM调用功能。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
