闻达项目常见问题解决方案

闻达项目常见问题解决方案

【免费下载链接】wenda 闻达：一个LLM调用平台。目标为针对特定环境的高效内容生成，同时考虑个人和中小企业的计算资源局限性，以及知识安全和私密性问题 项目地址: https://gitcode.com/gh_mirrors/we/wenda

项目基础介绍

闻达（Wenda）是一个大规模语言模型调用平台，旨在针对特定环境实现高效的内容生成。该项目考虑了个人和中小企业在计算资源上的局限性，以及知识安全和私密性问题。闻达平台集成了多种大语言模型，支持知识库的对接、多种模型的离线部署和在线API访问，以及通过JavaScript脚本实现的插件功能。

主要的编程语言包括：

• Python
• JavaScript
• CSS
• HTML

新手使用注意事项及解决方案

1. 模型下载和配置问题

问题描述：新手在使用闻达项目时，可能会遇到模型下载失败或配置文件错误的问题。

解决步骤：

1. 下载模型：使用内置脚本从Hugging Face（HF）下载模型，或者从提供的网盘链接下载模型。
   • 使用内置脚本下载：运行run_GLM6B.bat或run_GLM6B.sh。
   • 从网盘下载：访问百度云或夸克下载模型。
2. 配置文件：确保配置文件config.yml（复制自example_config.yml）中的模型路径和其他参数设置正确。

2. 计算资源不足问题

问题描述：个人或中小企业可能面临计算资源不足的问题，导致模型运行缓慢或无法启动。

解决步骤：

1. 模型量化：使用内置脚本对模型进行量化，以减少显存占用。
   • 对于chatRWKV模型，运行cov_torch_rwkv.bat进行量化。
   • 对于llama模型，运行cov_ggml_rwkv.bat进行量化。
2. CUDA加速：如果安装了CUDA，可以运行run_rwkv_with_vc.bat以启用CUDA加速，加快模型启动速度。

3. 知识库配置和使用问题

问题描述：新手在配置和使用知识库时，可能会遇到知识库文件格式不正确或知识库无法加载的问题。

解决步骤：

1. 知识库文件格式：确保知识库文件格式正确，通常为文本文件或Markdown文件。
2. 知识库调试：使用项目提供的调试工具检查知识库文件是否正确加载。
3. 微调模型：使用微调模型提高知识库回答的准确性，具体步骤参见项目文档中的“使用微调模型提高知识库回答准确性”部分。

通过以上步骤，新手可以更好地理解和使用闻达项目，解决常见的问题。

【免费下载链接】wenda 闻达：一个LLM调用平台。目标为针对特定环境的高效内容生成，同时考虑个人和中小企业的计算资源局限性，以及知识安全和私密性问题 项目地址: https://gitcode.com/gh_mirrors/we/wenda