部署DeepSeek-r1+AnythingLLM

于 2025-02-17 16:55:04 发布
阅读量300 收藏 6
点赞数 5
分类专栏： DeepSeek 文章标签： deepseek
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Tony1154/article/details/145678706
版权

AnythingLLM 是一款开箱即用的一体化 AI 应用，支持 RAG（检索增强生成）、AI 代理等功能。它无需编写代码或处理复杂的基础设施问题，适合快速搭建私有知识库和智能问答系统。

DeepSeek部署

DeepSeek-r1部署请参考：Ollama本地部署DeepSeek详细操作步骤_blobs文件夹-优快云博客

版本说明

AnythingLLM版本：v1.7.3-r2

软件下载

AnythingLLM下载地址：Download AnythingLLM for Desktop

或者从这里下载：AnythingLLMDesktop-v1.7.3-r2资源-优快云文库

如图下所示，选择Windows(x64)版本进行下载

软件安装

双击图标进行安装

根据需求选择为哪位用户安装，点击下一步

选择安装的目标文件夹，点击安装

时间可能会稍微有点长，耐心等待下

安装完毕，点击完成

防火墙提示，点击允许访问

软件配置

点击Get started

点击Ollama

Ollama模型和Ollama地址按照图下所示进行配置

配置好之后，点击右侧的箭头

再次点击右侧箭头

这里可以选择跳过调查

设置一下工作区名称，然后点击右侧箭头

即可进入对话界面

设置中文显示

点击图下所示图标

按照图下所示将显示语言设置为中文

点击返回图标

软件使用

点击工作区

即可进行与DeepSeek的对话了~

大模型部署实战：基于Ollama + DeepSeek-R1 + OpenAI的混合架构
qq_32358423的博客
02-14 1682
在AI技术快速发展的今天，大语言模型（LLM）已成为开发者工具箱中的核心组件。然而，直接依赖云端API（如OpenAI）可能面临成本、隐私和延迟等问题。（OpenAI），我们可以构建灵活、可控且高性价比的混合架构。本文将手把手教你实现这一方案。无论是个人项目还是企业应用，这套方案都能为你提供强大的AI能力支撑。
Ollama+DeepSeek R1+AnythingLLM训练自己的AI智能助手
谁念西风独自凉
02-11 1279
下载Ollama,点击“Download”按钮。根据电脑操作系统，下载合适的版本即可。下载完成后点击安装，完成后安装窗口会自动关闭，你的系统托盘图标会出现一个Ollama图标。
AnythingLLM安装包-下载链接.txt
02-12
AnythingLLM安装包_下载链接
AnythingLLM 下载安装
qq_34446614的博客
02-09 2844
专为企业级用户和个人开发者设计，支持完全自主控制 AI 模型的部署、训练和交互。适用人群：需处理敏感数据的企业/科研机构/技术极客。
AnythingLLM安装包下载用于本地部署Deepseek
02-09
最进官网崩溃了，这是提前下好的AnythingLLMDesktop安装包
AnythingLLM 项目下载及安装教程
gitblog_01273的博客
10-18 1万+
AnythingLLM 项目下载及安装教程 anything-llm 为开源和闭源的大型语言模型（LLMs）、嵌入器和向量数据库提供开源的ChatGPT体验。在一个应用中提供无限的文档、消息和并发用户，以及权限管理。 项目地址: ...
本地大模型7：AnythingLLM的下载使用——本地大模型接入知识库
weixin_74825941的博客
10-27 1万+
键盘win+R->输入cmd，回车->输入ollama serve，回车点击前往官网，选择适合自己的操作系统下载，这里是windows，下载好后双击安装，修改路径即可，安装过程可能需要几分钟。下载成功安装
DeepSeek本地部署+AnythingLLM搭建个人知识库，真香？（附完整教程、ollama+anythingLLM文件下载）
Y525698136的博客
02-15 2170
DeepSeek本地部署+AnythingLLM搭建个人知识库，真香？（附完整教程、ollama+anythingLLM文件下载）
DeepSeek-R1最佳本地部署+知识库+联网搜索（2个安装包1条命令搞定）.pdf
02-10
为了实现DeepSeek-R1的本地部署，用户需要遵循一系列简单步骤，首先需要下载并安装两个关键组件：Ollama官方版和AnythingLLM。具体步骤包括访问提供的下载链接，下载相应的软件安装包。完成下载后，下一步是选择合适...
教程Ollama+deepseek-r1:1.5b+AnythingLLM本地部署轻量级大模型
02-27
本教程将详细介绍如何在本地环境中部署一个名为Ollama+deepseek-r1:1.5b+AnythingLLM的轻量级大模型。这个模型不仅能够提供强大而稳定的服务，而且能够在网络不可用的情况下保证用户仍能使用deepseek，满足对基本AI...
DeepSeek-R1模型本地部署及知识库构建指南
最新发布
03-29
内容概要：本文详细介绍了如何在本地环境中部署DeepSeek-R1模型并构建专属的知识库。首先概述了DeepSeek-R1模型的特点及其在中国乃至全球AI发展中的重要地位，随后逐步讲解了安装Ollama、下载DeepSeek-R1模型的具体...
ollama + Anythingllm的安装
lsyhaoshuai的博客
05-06 4704
在Linux下如果直接运行。
LLMs之AnythingLLM：anything-llm的简介、安装和使用方法、案例应用之详细攻略
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-24 2万+
​ LLMs之AnythingLLM：anything-llm的简介、安装和使用方法、案例应用之详细攻略 目录 anything-llm的简介 anything-llm的安装和使用方法 anything-llm的案例应用 anything-llm的简介 AnythingLLM是一款您正在寻找的一体化人工智能应用程序。与您的文档进行聊天，使用AI代理，超级可配置，多用户，并且无需烦人的设置。 AnythingLLM是一个全栈应用程序，可以使用商用或开源的LLM/嵌入器/
anything-llm的安装-windows
港湾的专栏
01-24 4126
anything-llm的安装
Windows安装ollama和AnythingLLM及部署DeepSeek模型1
m0_60657960的博客
10-04 2万+
AnythingLLM安装有很多方式，一是到官方网站()下载桌面版，然后双击即可。
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 2467
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
使用ollama + AnythingLLM快速且简单的在本地部署llama3
2401_82469710的博客
12-25 2380
使用ollama + AnythingLLM快速且简单的在本地部署llama3
手把手教你AnythingLLM+Ollama+qwen 部署本地大模型
m0_59164304的博客
01-21 5830
利用周末的时间，在自己的笔记本电脑上部署一个本地大模型，过程也记录下来分享给对此有兴趣的朋友们。整个部署过程分为三个步骤：步骤一：下载ollama大模型工具步骤二：在ollama工具中，下载通义千问大模型步骤三：下载AnythingLLM并配置选择ollama的通义千问模型，直接在窗口对话安装后启动ollama命令行窗口，敲入命令ollama list，此时显示没有任何大模型，开始去下载下载大模型，阿里千问 0.5b （5亿参数）特意一早爬起来，网速快得飞起。小400M不到一分钟下载完成。
tesla P40部署deepseek-r1
02-28
### 部署 DeepSeek-R1 模型到 NVIDIA Tesla P40 #### 环境准备 为了成功部署 DeepSeek-R1 模型并利用 GPU 加速，环境配置至关重要。对于配备 NVIDIA Tesla P40 的 Windows 系统而言，确保安装了最新的 NVIDIA 显卡驱动程序以及 CUDA Toolkit 和 cuDNN 库是必要的[^2]。 #### 安装依赖项 通过命令提示符或 PowerShell 执行以下操作来设置所需的软件包： ```powershell # 更新系统并安装基础工具 choco install git python --yes # 创建虚拟环境用于隔离项目依赖关系 python -m venv deepseek-env .\deepseek-env\Scripts\activate.ps1 # 升级 pip 并安装其他必需组件 pip install --upgrade pip setuptools wheel ``` #### 获取 DeepSeek-R1 运行框架 Ollama 及其配套 UI AnythingLLM 下载官方发布的最新版 Ollama 和 AnythingLLM，并解压至指定目录下。按照官方文档中的说明完成初步配置工作。 #### 设置 GPU 支持 由于 Tesla P40 是一款支持 CUDA 计算能力较高的设备，因此可以充分利用其性能优势来进行推理计算。确认已正确安装适用于该款显卡的 CUDA 版本之后，可以通过如下方式验证 PyTorch 是否能够识别到可用的 GPU 设备： ```python import torch if torch.cuda.is_available(): device = 'cuda' else: device = 'cpu' print(f'Using {device} for inference.') ``` 如果输出显示 `Using cuda` 则表明一切正常；反之则需要排查相关驱动及库文件是否存在兼容性问题。 #### 启动服务端口监听 进入 Ollama 解压缩后的根目录执行启动脚本以开启 HTTP API 接口供后续调用： ```bash cd path_to_ollama_directory start ollama.exe serve ``` 此时浏览器访问 http://localhost:8080/api/v1/models/deepseek-r1 将返回有关加载状态的信息，证明服务器已经就绪等待请求到来。 #### 测试模型功能 借助 Postman 或 curl 工具向上述地址发送 POST 请求测试具体效果，例如输入一段文本让模型生成回复内容： ```json { "prompt": "你好啊", "max_tokens": 50, "temperature": 0.7 } ``` 以上即是在 NVIDIA Tesla P40 上搭建基于 DeepSeek-R1 大规模预训练语言模型的服务流程概述。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

欲买桂花同载酒、

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值