闻达（Wenda）是一个专为个人和中小企业设计的大规模语言模型调用平台，致力于在有限的计算资源下实现高效内容生成，同时确保知识安全和私密性。这个开源项目通过平台化集成多种能力，为用户提供了一站式的AI应用解决方案。
项目地址: https://gitcode.com/gh_mirrors/we/wenda 闻达平台的核心功能包括知识库集成、多种大语言模型支持、Auto脚本功能以及实用化能力。平台支持对接本地离线向量库、本地搜索引擎和在线搜索引擎，为知识库提供丰富的支持。在模型方面，闻达支持离线部署的chatGLM-6B、chatGLM2-6B、chatRWKV、llama系列、moss、baichuan、Aquila-7B、InternLM等主流模型，同时也支持在线API访问openai api和chatGLM-130b api。
闻达平台的知识库管理界面，支持多种知识库模式
快速部署指南：轻松上手闻达平台
闻达平台提供了两种部署方式：懒人包和自行安装。对于初学者，推荐使用懒人包方式，这种方式已经集成了所有必要的依赖和环境配置。
懒人包部署步骤：
- 从官方提供的网盘链接下载懒人包主体文件
- 下载对应的模型文件，可以通过内置脚本从HF下载或从网盘获取
- 如果没有安装CUDA11.8，需要从网盘下载并安装
- 双击运行对应的模型启动文件（如运行GLM6B.bat）
- 如需生成离线知识库，参考知识库配置文档
闻达平台的设置界面，支持多种参数配置
知识库功能详解：智能问答的核心支撑
闻达平台的知识库功能是其核心亮点之一。知识库通过在搜索后生成提示信息插入到对话中，让模型能够获取相关知识数据。平台支持多种知识库方案：
- rtst模式：使用sentence_transformers+faiss进行索引和匹配，支持txt和pdf格式
- fess模式：本地部署的搜索引擎，支持关键词提取
- bing模式：支持国内可用的搜索引擎
知识库调试界面，支持多种知识库模式测试
Auto脚本功能：无限扩展的自动化能力
Auto功能通过JavaScript脚本实现，为闻达平台附加各种自动化功能。用户可以通过浏览器扩展脚本或直接将脚本放到autos目录的方式注入功能。
Auto脚本主要功能：
- 发送信息至LLM并获取模型返回值
- 添加和管理会话信息
- 从知识库查找相关信息
- 控制知识库和历史对话的开关
- 使用TTS引擎朗读文本
- 浏览器剪贴板操作
Auto功能的实际应用演示界面
模型配置技巧：优化性能的关键设置
闻达平台支持多种大语言模型，每种模型都有其特定的配置要求和使用场景：
chatGLM-6B/chatGLM2-6B配置：
- 运行对应的启动脚本
- 修改配置文件中的模型位置参数
- 默认参数在6G显存设备上运行良好
chatRWKV配置：
- 支持torch和cpp两种后端实现
- 可使用内置脚本对模型进行量化操作
- 支持CPU和GPU运行
闻达平台的模型调用界面，支持多种模型切换
实用功能特色：提升用户体验的贴心设计
闻达平台还提供了多种实用化功能，包括对话历史管理、内网部署、多用户同时使用等。这些功能使得平台不仅适合个人使用，也适合中小企业团队协作。
平台还支持纯浏览器端人脸检测功能，通过识别嘴巴开合控制语音输入。此外，还提供了QQ机器人功能，方便用户在社交平台上使用闻达的功能。
知识库增强功能界面，支持动态知识库管理
闻达平台通过持续的功能更新和优化，为个人和中小企业提供了一个高效、安全、私密的大规模语言模型调用解决方案。无论是初学者还是有经验的开发者，都能通过这个平台快速构建自己的AI应用。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
