5 分钟用满血 DeepSeek R1 搭建个人 AI 知识库(含本地部署)

最近很多朋友都在问:怎么本地部署 DeepSeek 搭建个人知识库。

老实说,如果你不是为了研究技术,或者确实需要保护涉密数据,我真不建议去折腾本地部署。

为什么呢?

目前 Ollama 从 1.5B 到 70B 都只是把 R1 的推理能力提炼到 Qwen 和 Llama 的蒸馏版本上。

虽说性能是提升了不少,但跟原汁原味的 R1 模型比起来,还是差太多了。

官方的满血版本可是 671B 的参数量,说实话,对普通人来说想本地部署,这成本确实太高了。

不过我最近发现了一个平台,不仅能用上 R1 本 1,还提供了不少免费额度。

此外,为了让拥有算力的朋友可以本地部署,我也提供了相关教程。

看完全文,你会收获:

1、满血 DeepSeek R1 模型 API 搭建方式

2、本地部署 DeepSeek R1 模型 搭建方式

一、个人知识库使用效果(满血版)

来看几个使用案例:如何借助 个人知识库文件 作为外脑,用方法论指导我们正确做事

DeepSeek 确实很好用,但关键还是会不会提问。 如果不会提问,AI 再强也帮不上忙。

除了花时间学习提示词,更快的方式是本地备一份提问指南,让 AI 指导你该怎么正确提问,这样才能真正发挥它的价值!

AI 借助知识库内的 DeepSeek 指导手册,预判了我可能想问的问题,以及建议的正确提示词格式。

从回答中可以发现,AI 不是依据自身语料库回复,而是基于知识库内容回复。

当然,我们也可以直接提问,精准搜索知识库的原始信息,从而达到快速查询的效果。

二、API 搭建知识库

如果本地数据不涉密,还想获得最佳使用效果,那肯定得选满血的 DeepSeek R1 模型。

我们来看看怎么利用 API 用上满血的 R1 模型(671 B)。

1、先下载一个叫 Cherry Studio 的软件。

地址: https://cherry-ai.com/download

2、登录/注册「硅基流动」,新用户会赠送 2000 万 Token 额度。

地址:https://cloud.siliconflow.cn/i/TAAOvaXg

3、来到 API 密钥生成界面,创建或者复制已有的密钥。

4、来到 Cherry Studio,配置 API Key。

5、在模型广场首页,排在前两位的就是「硅基流动」和「华为云」合作发布的 DeepSeek R1 V3 模型。

如果需要推理能力,记得打开并复制 R1 模型的名称。

6、在模型服务的硅基流动下方,添加 R1 模型。

7、记得点击检查,测试下 API 是否可以正常访问

8、现在对话模型有了 R1,还缺少一个嵌入模型。

嵌入模型的主要作用是将本地文件的内容转换成有意义的数字,存储到向量数据库中

在用户提问时,利用 RAG 技术在数据库中搜索到相似答案,最终回复用户。

过去我有通俗解释过 RAG 技术,大家如果不了解,可以回头看下:[一文通俗讲透 RAG 背后的逻辑,让 AI 回答更精准!]

我们再配置一个向量模型:BAAI/bge-m3。 如果希望搜索的精准度更高,可以选择 Pro/BAAI/bge-m3。

按照同样的方式配置到 Cherry Studio 中,这里不需要点击检查。

9、在 Cherry Studio 创建知识库,选择刚才配置的嵌入模型,这样就会自动利用对应的模型来向量化数据。

10、上传本地文件进行向量化。

如果本地 PDF 文件是 扫描件、手写件,或者带有复杂的表格数学公式,解析效果会很差,甚至无法解析。

遇到这种情况,建议配合过去我介绍的 PDF 转结构化文档 的方案来使用!!!

这样才可以正常回复知识库的内容:[免费AI神器!精准解析 PDF 还能一键翻译!]

如果追求性价比,推荐使用 Doc2x:https://doc2x.noedgeai.com?inviteCode=4A6KOD

如果希望更加稳定,那么可以考虑 Textin :https://www.textin.com/market/detail/pdf_to_markdown

当我们上传文件后,箭头指向的图标如图所示,则代表向量化成功。

11、测试使用,这一步添加助手,并选择刚配置的 满血 R1 模型

如果不想每次在添加助手时选择模型,可以将它设置为 默认模型

我们来测试一下,发现 DeepSeek 已经开始深度思考了。

AI 回复的答案和原文一致。

原文内容:

三、本地部署搭建知识库

如果只是想 简单体验,或者本地算力充足、希望保护数据安全,那么可以考虑 本地部署 的方案。

1、访问 Ollama 官方地址:https://ollama.com/download,下载软件。

建议下载最新版本 Ollama,个人踩坑经历:旧版本安装 R1 后可能无法正常使用。

2、双击运行 Ollama 后,打开命令行,运行需要安装的模型(参数越大,显存要求越高)。

地址:https://ollama.com/library/deepseek-r1

如果没有 GPU,建议选择 1.5B,运行相对轻量。我这 4G 显存 勉强能跑 8B,但速度较慢。

有朋友用 RTX 4090 测试 32B,效果和速度都不错。大家可以参考这个梯度,根据自己的硬件选择合适的模型。。

下载并运行成功后,就可以和 DeepSeek R1 对话啦。

3、当然,我们可以用 Cherry Studio 作为本地 R1 模型的 UI 界面。

打开软件的配置,选择 Ollama,在管理按钮中选择自己部署的模型。

如果选不到,就手动添加模型,API 秘钥填不填无所谓。

最后点击检查,测试下网络连通性,出现连接成功即可。

接下来就可以在添加助手时,选择本地部署的 R1 模型啦。

4、再测试使用一下,答案与原文一致,搞定 ~

因为我用的是 Mac,所以没测试 Windows 设备。不过两者区别不大,大家可以自行尝试下。

四、总结

看到这里,相信你已经找到最适合自己的 DeepSeek 个人知识库方案了。

如果你和大多数人一样,选择使用官方 API ,那就不用再为性能和本地硬件资源发愁;

如果你恰好有充足的算力和技术储备,本地部署也是个不错的选择。

不过,在整个过程中,我想和你分享的不仅仅是这些技术细节。

而是一个中国团队能做出世界级大模型,一个需要 +86 才能注册的大模型。

很庆幸,我们能作为中国 AI 技术进步的见证人。

当然,暂时的领先不是终点。

但 DeepSeek 给我们带来的,是“中国也可以”这份信心。

这,才是我们真正要守护的希望。

👉👉【DeepSeek本地部署文档】

https://pan.quark.cn/s/7e0fa45596e4

cut-off

最近,我的DeepSeek本地部署视频在B站播放量意外小爆,评论区被两类留言淹没:一类是技术爱好者追问“如何用消费级显卡跑通大模型”,另一类是职场人焦虑“我的工作会被AI取代吗?”这两个问题的背后,折射出一个残酷的真相:大模型技术正在重构所有行业的生存法则,而掌握这项技术的人将获得通往未来的船票

DeepSeek的火爆对普通人意味着什么?

DeepSeek的火爆并非偶然。它代表了一种技术趋势:大模型技术正在从实验室走向大众。过去,大模型技术似乎只属于科技巨头和学术机构,普通人很难接触到。而现在,随着开源社区的活跃和技术的普及,像DeepSeek这样的工具已经可以让普通用户在自己的设备上部署和使用大模型。

对于普通人来说,DeepSeek的火爆意味着:

  1. 技术门槛降低:大模型技术不再遥不可及。通过本地部署,普通人也可以体验到强大的AI能力,无论是文本生成、对话系统还是其他AI应用。
  2. 个性化需求得到满足:大模型可以根据用户的需求进行定制化调整,满足个性化的应用场景。比如,你可以训练一个专门用于写作、编程或翻译的模型。
  3. 未来职业机会:大模型技术的普及将催生大量新的职业机会。无论是AI工程师、数据科学家,还是AI产品经理,掌握大模型技术将成为未来职场的重要竞争力。

DeepSeek的底层逻辑:大模型技术的核心

DeepSeek的底层逻辑正是基于大模型技术。大模型,顾名思义,是指参数量巨大、训练数据丰富的深度学习模型。这类模型通过海量数据的训练,能够捕捉到复杂的语言模式和知识结构,从而在各种任务中表现出色。

一、大模型岗位薪资揭密:应届生年薪40万起,跨界人才溢价300%

img

根据智联招聘《2024人工智能人才发展报告》,大模型相关岗位薪资较传统IT岗位平均高出67%,且呈现三大特征:

1.应届生起薪碾压传统行业

大模型算法工程师:本科28-40万/年,硕士40-60万/年

AI产品经理(无经验):25-35万/年

(数据来源:猎聘2024校招季统计)

2.跨界人才溢价惊人

医疗+大模型复合人才:薪资较纯医疗背景提升200-300%

金融风控+大模型工程师:年薪可达80-150万

(案例:某三甲医院影像科医生转型AI医疗,薪资从25万跃升至75万)

3.中小企业重金抢人

二线城市AI初创公司开出“北上广深同薪”政策

某成都电商企业为AI推荐算法工程师开出百万年薪

二、行业大地震:这些岗位正在消失,这些岗位正在爆发

▍消失中的岗位(3年内高危职业)

  • 基础数据标注员(已被AutoML取代90%工作量)
  • 初级代码工程师(GPT-4可完成60%基础代码)

▍爆发中的黄金岗位

1.大模型训练师

  • 某直播公司开出82万年薪招聘“带货大模型调教师”
  • 核心技能:Prompt工程+垂直领域知识(如美妆/3C)

2.AI业务流程重构师

  • 制造业龙头企业50万年薪招聘“生产流程AI化专家”
  • 典型案例:富士康通过大模型优化生产线,减少30%人力成本

3.AI伦理合规官

  • 金融机构新增岗位“大模型风控总监”,年薪超百万
  • 职责:防止AI在信贷审核、投资建议中出现歧视性输出

三、普通人破局指南:无需代码基础,三步抢占AI红利

我整理了全网稀缺的**《大模型落地应用实战资料包》**,包含:

1.LLM大模型学习大纲+路线图

2.152个大模型各行业结合的落地案例集

3.大模型必读书籍PDF电子版

4.大模型全套系统学习视频

5.真实大厂岗位面试题库

6.640套AI大模型行业白皮书

👉👉获取方式

在这里插入图片描述

结语:你正在经历人类史上最大规模的生产力革命

当东莞工厂用大模型替代500个质检员,当律所AI助理处理80%合同审查,当小红书博主用AI生成90%的图文内容——这场变革不再关乎“是否会发生”,而是“你站在哪一边”。

记住两个数字

  • 2023年全球大模型应用市场规模:270亿美元
  • 2027年预测市场规模:4070亿美元

这中间3700亿美元的增量市场,就是普通人改写命运的机会。4年后你会感谢今天的决定。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值