测试开发小记

在人工智能技术飞速发展的今天，搭建一个本地化知识库问答系统已成为企业和个人高效管理信息的利器。作为一款基于大语言模型和 RAG 的开源知识库问答系统，支持对接多种大模型，包括本地私有大模型（DeepSeek R1 / Llama 3 / Qwen 2 等）、国内公共大模型（通义千问 / 腾讯混元 / 字节豆包 / 百度千帆 / 智谱 AI / Kimi 等）和国外公共大模型（OpenAI / Claude / Gemini 等），无需编程基础即可快速部署。在中介绍了如何在自己的电脑上本地部署。

最近DeepSeek非常火爆，因其卓越的推理能力和低成本特性而广受欢迎，DeepSeek开源了部分模型，通过蒸馏技术可以将大模型参数压缩为更小的版本（如1.5B、7B等），显著降低对显存和计算资源的需求，这使得普通家用电脑也能部署，无需依赖高端硬件。本地部署不仅能规避网络延迟和隐私风险，还能根据需求定制模型功能，成为高效办公、学习研究的利器。此外，本地部署使数据完全存储于自有服务器或私有云，避免第三方平台的数据泄露风险，尤其适用于医疗、金融等涉及敏感信息的行业。本文介绍如何在自己的电脑上本地部署模型。