qq_42944545的博客

以下转自互联网：硬件成本很低的运行DeepSeek R1 671b满血版完整指南（翻译）Deepseek AI本地推理设备搭建好消息：基于我们一直使用的AMD EPYC Rome基准系统获得了稳定性能表现😁这套初始配置依然出色！设备拥有者现在可以在Q4 671b完整模型上获得4.25-3.5 TPS（每秒令牌数）。完整版16K以上上下文窗口的模型体验远胜精简版，值得投入。纯CPU运行时可同时运行视觉模型等小型模型。

连特朗普都已经知道这个模型的厉害了。此处不赘述。安装使用Ollma就行。安装很简单：参数可以选 7b 或者8b，甚至32b。

我们使用官方推荐的Edge-tts在服务器上配置一下，就能实现非常快速响应的语音朗读它的回复。打开服务器的宝塔面板，找到docker管理器，如果没有也可以在命令行创建：

由于Ollama run模型名字命令下载速度实在是太慢了。我们需要通过其它途径下载模型。同时，最大的模型库还是在hugging face上，更多功能的大模型可以在上面找到，所以需要在网上下载好GGUF或者safetensors的文件模型导入到Ollama上面来运行。

弄好了可以在任意地方访问自己的个人Deepseek-r1的网站，随时随地上传自己的见闻和知识，让大模型为我管理和记住这些知识。当我有需要的时候，我就可以和人工智能对话得到我需要的知识和信息。甚至我们可以配置苹果手机上的Siri助手或者苹果电脑上的Siri助手来进行大模型的人工智能对话。

OLLAMA服务器的配置在很多网上都已经介绍的非常清楚了，我们的重点不在于那些简单的步骤，而是在需要为下一步做准备的地方更加详细的讲解。

这个架构最优秀的地方就在于这里了，对外直接访问轻型服务器的网站，轻型服务器只需要2核2G内容，40G空间。性价比拉满。接下来就是让open-webui连接高性能ollama服务器端篇章了。

前面三篇文章：第一篇【理论和架构】第二篇【Ollama语言大模型服务器】第三篇【open-webui网站服务器】 已经完成的话，我们现在要将前后端连接起来。并且将他们配置好开始使用。