本地部署deepseek（Ollama+AnythingLLM方式）deepseek-r1:7b

原创 已于 2025-03-01 14:21:37 修改 · 237 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

于 2025-03-01 14:10:42 首次发布

1.下载ollama，直接安装即可，安装后在powershell里输入 ollama命令，可看到相关结果

https://ollama.com/

2.在ollama网站里，找模型对应的命令

在这里插入图片描述

3.运行下载模型

在这里插入图片描述

安全完成后，会提示success
在这里插入图片描述

4.下载AnythingLLM

https://anythingllm.com/

5.使用AnythingLLM

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

上传文件学习
在这里插入图片描述
在这里插入图片描述

l1o3v1e4ding
关注
Docker安装并运行AnythingLLM的详细教程
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
02-26 4944
通过本文的介绍，你已经掌握了如何在 CentOS 系统上使用 Docker 安装并运行 AnythingLLM。AnythingLLM 提供了强大的功能，支持本地知识库搭建和多模态输入，非常适合个人和企业使用。希望本文能帮助你快速上手并搭建自己的 AI 知识库。
轻松在本地搭建DeepSeek：Ollama + deepseek-r1:7b + anythingLLM
github_39560448的博客
02-19 1057
deepseek-r1模型的开源，媒体大肆报道有故意宣传的嫌疑，但是用下来确实非常好用，我们之前有尝试将文档汇总，然后使用gpt-4来查询一些问题，回答得准确性不高，最初我们以为是文档写得太烂导致大模型无法正确理解，直到用了deepseek，才发现在中文理解能力方面，deepseek确实非常不错。原来一个成熟的大模型，会自动从编写的没那么完美的技术文档中，提炼出最有用的信息。anythingLLM的工作区就是知识库，然后上传文档后，选入到右侧的工作区即可。这个过程取决于家里的网络情况，网速好一般来说很快。
deepseek本地部署最简教程——搭建个人AI知识库
m0_59164304的博客
02-08 7067
尽管本地化部署的DeepSeek模型在算力规模和功能完备性上无法媲美云端全量版本，但只要喂给它「独家秘方」——也就是你电脑里的文档、代码、笔记这些干货，它立马就能变身成你的专属知识小助手！当然，AnythingLLM还具备其他功能，如代码托管和官方API的接入等，受篇幅所限，本文不再展开论述，各位可自行探索。需要注意的是，本地部署的AI回答精准度仍然受到硬件性能的制约。建议开发者参考以下硬件选型策略，轻量级部署：RTX 3060(12GB)+32GB DDR4+1TB SSD（支持7B参数模型实时推理）；
手把手带你在本地部署自己的AI工具 DeepSeek 的个人知识库，这个保姆级教程在别处很难看到了，强烈建议收藏！
热门推荐
qq_63911508的博客
02-04 1万+
手把手带你在本地部署自己的AI工具 DeepSeek 的个人知识库，这个保姆级教程在别处很难看到了，强烈建议收藏！
正对deepseek +anythingllm 创建知识库上传文件报错处理方法
qq_30310169的博客
02-17 3043
选择我们本地下载的模型（使用ollama下载 nomic - embed - text）选择Embedder设置，配置首选引擎供应商（初始的配置没有改动导致报错）1、打开anythingllm设置。再次上传文件就不会报错了。
Windows本地部署Ollama+DeepSeek-R1-7b+AnythingLLM及应用
weixin_43807749的博客
03-05 1234
语言模型的有效应用可以给企业带来巨大经济效益，本文就介绍了Windows平台的部署所需要的模型的安装步骤并构建本地知识库。以上就是关于地道老北京炸酱面的制作方法(并不是)，本文仅仅简单介绍了AnythingLLM的使用，而如何提供 API 接口供其他设备使用，敬请期待下一篇博客。
ollama+deepseek+AnythingLLM实现deepseek-r1本地部署
qq_62848520的博客
02-10 1972
（1）更改Ollama应用位置 将C盘C:\Users\用户名\AppData\Local\Programs\Ollama文件夹移动到D盘，例如改为D:\Ollama。此时deepseek功能已经完全可用，其中<think></think>中内容就是深度思考的内容，如果内容不够美观，可以其他应用进行界面化，如AnythingLLM。此时在下方API Key中将自动检测到下载的版本，后续的内容全都点击右键，直到有一个添加工作区的内容出现进行命名即可，这将会是未来的对话框，我命名的名称是“1”
超详细！本地化部署DeepSeek R1+AnythingLLM搭建私有知识库
阿信AI实验室
03-18 2059
DeepSeek R1的核心作用在于，其通过强化学习技术实现数学、编程等复杂任务的自主推理，可以赋能很多真实场景，比如编程、数学、数据分析、办公提效等。：若通过云端传输敏感数据，可能被截获或滥用；：攻击者可诱导模型绕过安全机制输出有害内容（成功率74%）；：14.3%的幻觉率可能导致事实性错误。（也就是有时候会胡说八道）将DeepSeek进行本地化部署，可以避免上述的问题。本地部署私有化知识库的优势在于：整合分散的技术文档、会议记录等，支持权限分级；：如军工、金融等领域保护核心数据；
DeepSeek+Ollama+AnythingLLM本地部署流程，win11
weixin_45624636的博客
02-17 1598
调用API并不是免费的，但价格并不高昂，如果真的想要体验大模型但没有硬件基础的话，建议使用相关的APP或者调用API。个人知识库离我们并不遥远，每个人手机上的大模型助手就足以完成大部分的事情了。
Ollama+Deepseek+anythingllm部署指南-centOS7
SeaArea_的博客
05-29 854
本文介绍了在CentOS7.9系统上配置Docker环境并部署AnythingLLM和Ollama服务的完整流程。主要内容包括：1) 更换阿里云yum源；2) 安装Docker19.03.12并配置多镜像加速源；3) 部署AnythingLLM管理端，设置存储目录和端口；4) 安装Ollama服务并配置11434端口；5) 下载运行DeepSeek等AI模型；6) 防火墙配置和访问测试。文中提供了详细的命令脚本，涵盖从环境准备到服务部署的全过程，特别针对国内网络环境优化了下载源配置。
Ollama+DeepSeek R1+AnythingLLM训练自己的AI智能助手
谁念西风独自凉
02-11 1450
下载Ollama,点击“Download”按钮。根据电脑操作系统，下载合适的版本即可。下载完成后点击安装，完成后安装窗口会自动关闭，你的系统托盘图标会出现一个Ollama图标。
Ollama+AnythingLLM+Deepseek本地部署知识库-Windows系统
edsion4的博客
02-13 733
Windows系统中使用Ollama、AnythingLLM来搭建Deepseek本地知识库
【论文速递】2025年第34周(Aug-17-23)(Robotics/Embodied AI/LLM)
淋曦的进击手记
12-07 1466
自我监督的学习有望消除对手动数据注释的需求，从而使模型能够毫不费力地扩展到大规模的数据集和较大的体系结构。通过不针对特定的任务或领域量身定制，这种训练范式有可能使用单个算法从不同的来源学习视觉表示形式，从自然到航空图像。该技术报告介绍了Dinov3，这是通过利用简单而有效的策略来实现这一愿景的主要里程碑。首先，我们利用仔细的数据准备，设计和优化来扩展数据集和模型大小的好处。其次，我们介绍了一种称为GRAM锚定的新方法，该方法有效地解决了长期训练时间表中已知但未解决的密集特征映射降解的问题。
人工智能的基石之三：硬件
最简单的方法，解决最实际的问题。
12-05 711
高性能硬件是人工智能的基石，尤其是在机器学习和深度学习领域，海量数据是常态。从充当计算机大脑的中央处理器 (CPU) 到加速计算的图形处理器 (GPU)，硬件的作用是提供处理和运行复杂数据算法所需的原始能力。
宝马，如何建设一座AI汽车工厂？｜产业AI案例
chanyejiawang的博客
12-08 1012
AI汽车时代来袭
LLM交互工具汇总：Open WebUI、ChatBot-UI、浏览器插件、Studio
lonelymanontheway的博客
12-05 811
Open WebUI、实战、mcpo、ChatBot-UI、实战、轻量级、浏览器插件、Page Assist、ollama-ui、Studio类工具、Cherry Studio、LM Studio、Msty Studio、参考、
【农作物谷物识别系统】Python+TensorFlow+Django+人工智能+深度学习+卷积神经网络算法
子午的博客
12-05 853
农作物谷物识别系统，基于TensorFlow搭建卷积神经网络算法，通过对11种常见的谷物图片数据集（‘大米’, ‘小米’, ‘燕麦’, ‘玉米渣’, ‘红豆’, ‘绿豆’, ‘花生仁’, ‘荞麦’, ‘黄豆’, ‘黑米’, ‘黑豆’）进行训练，最后得到一个识别精度较高的模型，然后搭建Web可视化操作平台。技术栈项目前端使用Html、CSS、BootStrap搭建界面。后端基于Django处理逻辑请求基于Ajax实现前后端数据通信选题背景与意义。
大模型的监督微调基础详解
最新发布
AggressiveYu的博客
12-10 830
在预训练完毕之后，我们的模型已经成为了一个学习完所有知识的学生，但是他缺乏用适当的方式表达知识的能力，还是停留在续写文本的阶段，无法直接回答我们的问题，所以监督微调这个时候就出来了，这个指令微调的作用，就是让模型在预训练的基础上，通过特定的数据和训练，让模型能够更好的回答用户的问题。 预训练一般包括三大要素，网络结构，损失函数，训练数据。指令微调和预训练的方式几乎没有区别，只是训练数据的不同。
创始人IP与AI融合：重构信任与引领变革
ckjrxdn的博客
12-08 209
通过个人品牌的塑造，企业能够增强与用户之间的情感连接，提升认同感。举办此次峰会，是希望帮助更多中小企业家认识到技术趋势与品牌建设的重要性，从而更好地把握未来发展机遇。另一方面，人工智能能够全面提升企业在内容创作、客户转化等环节的效率，助力构建可持续的商业系统。活动汇聚了来自全球的创始人、行业专家及媒体代表，共同探讨在人工智能与个人品牌价值并重的时代背景下，企业如何应对挑战、实现持续发展。本次峰会还设置了多场主题分享与圆桌对话，聚焦人工智能的应用前景与未来商业趋势，为参会者提供了交流与合作的平台。
deepseek+ollama+anythingllm
03-22
<think>好的，我需要回答用户关于如何将DeepSeek、Ollama和AnythingLLM结合使用的问题，以及它们之间的区别和联系。首先，我需要回顾用户提供的引用内容，提取相关信息。 根据引用[1]，Ollama、DeepSeek和AnythingLLM整合的步骤包括准备工作、数据导入、模型连接和测试优化。引用[3]提到DeepSeek是杭州深度求索公司开发的大语言模型，有不同模式，可以通过Ollama拉取。引用[2]介绍了使用Ollama与LangChain等工具构建RAG管道，可能对整合过程有帮助。 接下来，我需要明确这三个工具各自的角色。DeepSeek是语言模型，Ollama是本地运行模型的工具，而AnythingLLM是知识库管理平台。它们的区别在于功能定位：DeepSeek处理自然语言，Ollama提供运行环境，AnythingLLM管理知识数据。联系方面，Ollama可以运行DeepSeek模型，再与AnythingLLM集成，形成本地知识库系统。 用户可能想知道具体的集成方法，所以需要分步骤说明，如安装Ollama、拉取DeepSeek模型、配置AnythingLLM连接Ollama服务。同时，要提到优化方法，比如调整分块大小或使用FAISS向量库，如引用[2]所述。 还要注意潜在的问题，比如性能优化和内存管理，引用[2]中的内存高效RAG管道可能有参考价值。最后，生成相关问题，覆盖集成步骤、优势、应用场景和替代方案等。</think>### DeepSeek、Ollama与AnythingLLM的集成方法与关系解析 #### 一、工具定位与区别 1. **DeepSeek** - 是由深度求索公司开发的大语言模型（LLM），支持自然语言推理、问答等任务，提供网页端交互和本地化部署选项[^3]。 - 特点：擅长逻辑推理（如深度思考R1模式）和多样化任务处理。 2. **Ollama** - 本地化运行大语言模型的工具，支持拉取和部署模型（如DeepSeek），提供API接口供其他应用调用[^1][^2]。 - 特点：简化本地模型管理，支持多平台运行。 3. **AnythingLLM** - 知识库管理平台，支持文档导入、知识图谱构建和基于LLM的智能检索[^2]。 - 特点：整合向量数据库（如FAISS），优化RAG（检索增强生成）流程。 **核心区别**： - DeepSeek是语言模型，Ollama是模型运行环境，AnythingLLM是知识管理与应用层工具。 --- #### 二、集成方法（分步说明） 1. **部署Ollama并加载DeepSeek模型** - 安装Ollama后，通过命令行拉取DeepSeek模型： ```bash ollama pull deepseek-r1 ``` - 启动模型服务： ```bash ollama serve ``` 默认API端口为`11434`。 2. **配置AnythingLLM连接Ollama** - 在AnythingLLM的模型设置中，选择“自定义LLM”，填入Ollama的API地址（如`http://localhost:11434`）和模型名称`deepseek-r1`。 - 测试连接：发送简单问题验证响应是否正常。 3. **导入知识库数据** - 将文档（PDF/TXT等）上传至AnythingLLM，设置分块策略（建议512-1024字符，引用[2]提到优化分块可提升效率）。 - 启用FAISS向量库加速检索（引用[2]强调其内存高效特性）。 4. **优化与测试** - 调整Prompt模板：结合DeepSeek的推理能力，设计引导式问答模板。 - 监控内存使用：参考引用[2]的RAG管道优化方法，避免资源过载。 --- #### 三、典型应用场景 1. **企业内部知识库** - 利用DeepSeek解析复杂查询，Ollama保障本地数据安全，AnythingLLM管理技术文档。 2. **学术研究辅助** - 整合论文库，通过DeepSeek的R1模式进行逻辑推理，生成文献综述。 3. **智能客服系统** - AnythingLLM存储产品手册，DeepSeek提供多轮对话支持，Ollama本地部署降低延迟。 --- #### 四、常见问题与优化 - **问题1：响应速度慢** **解决**：缩小文档分块大小，启用FAISS向量索引（引用[2]已验证此方法）。 - **问题2：模型“幻觉”** **解决**：在AnythingLLM中设置检索置信度阈值，仅采纳高匹配度的知识片段。 - **问题3：内存不足** **解决**：使用Ollama的量化版模型（如DeepSeek-7B-Q4），降低资源占用。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值