DeepSeek|手把手教你完成AI投喂数据训练

在完成deepseek-r1模型的本地部署后,如何搭建自己的个人知识库,训练(投喂数据)出专属自己的AI工具呢?比如多模态学习:PDF、音频、视频;使AI更加准确的理解我们的意图,更快速完整的给出精准答案,为提供我们更懂、更人性化的服务。follow me,跟着本文下述教程步骤操作就能搞定!

分五个步骤:

一、部署nomic-embed-text嵌入式模型

此操作使用ollama就可以完成,首先,运行运行我们需要指定好具体的模型名称和大小,即上篇文章安装的本地deepseek-r1:1.5b模型;

ollama run deepseek-r1:1.5b

然后打开另一个新的CMD窗口,输入命令ollama pull nomic-embed-text回车下载nomic-embed-text嵌入式模型(后面做数据投喂会用到)

图片

二、安装AnythingLLM

AnythingLLM是一个全栈式的 AI应用,可快速构建私有化、定制化的AI助手和知识管理工具。支持将文档、资源(如网址链接、音频、视频)或内容片段转换为个人知识库。

访问AnythingLLM官网(https://anythingllm.com/desktop)选择对应系统版本的安装包进行下载(支持Windows/Mac/Linux)

右键安装包,以管理员身份运行(A)

图片

Windows安全中心可能会提示风险,继续选择仍要运行即可

图片

选择【所有用户】,点击下一步。

图片

根据自身情况,选择安装位置

图片

此处最好不要选择C盘系统盘,我选D盘,开始安装

图片

图片

点击完成即可

图片

三、工作区配置搭建

点击【开始】

图片

下一步

图片

跳过调查即可(选填)

图片

创建工作区,输入你的工作区名称,此处本人填Test,下一步

图片

成功创建工作区

工作区:用来区分构建的不同知识库。点击“+新工作区“创建知识单元(如“行业报告分析、个人笔记库“等),支持多工作区独立管理,避免知识干扰。

图片

点击左下角【设置】,可以设置模型、界面显示语言等。

图片

此处建议设置为中文

图片

在人工智能提供商里面,LLM首选项界面,提供商选择Ollama,Ollama Model选择上文下载部署的DeepSeek-R1系列模型1.5b,然后点击Save changes

图片

在Embedder首选项界面,嵌入引擎提供商选择Ollama,Ollama Embedding Mode选择【nomic-embed-text】(第一步部署的nomic-embed-text嵌入式模型),然后点击保存更改。

图片

回到创建的工作区,点击【工作区设置】

图片

在聊天设置界面,工作区LLM提供者选择【Ollama】,工作区聊天模型选择本地部署的【deepseek-r1:1.5b】模型,然后点击最下方【Update workspaces】

图片

在代理配置界面,工作区代理LLM提供商选择【Ollama】,工作区代理模型仍旧选择【deepseek-r1:1.5b】,然后点击【Configure Agent Skills】。

图片

四、投喂数据(训练AI)

在创建的工作区界面,点击【上传】按钮

图片

分为两个区域,左侧为本地文件区,右侧为投喂区(工作区)

图片

点击左下上传功能选择需要上传的文件(支持PDF、TXT、Word、Excel、PPT等常见文档格式),勾选出要投喂上传的文件,点击【Move to Workspace】。

图片

待投喂文件会上传至右方区域(工作区),点击【Save and Embed】。

图片

完成数据投喂(训练)。

五、实例验证

投喂前:

问题:询问“魅在心头公众号是干嘛的”

得出结果如下:

图片

嗯,用户问的是“魅在心头公众号是干嘛的”。首先,我需要回顾一下之前的信息。用户提到了“魅”可能指的是一个品牌或平台的名字,比如微信、微博等等。然后,关于公众号,通常包括运营、内容生产、市场营销等方面。 接下来,我要考虑不同的情况。如果用户指的是微信公众号,那么常见的功能有广告投放、内容创作、推广活动等。如果是微博,可能会有更多的话题讨论和互动。还有其他可能的公众号类型,比如社交媒体平台的内容管理或企业内部的信息发布。 然后,我需要确认这些信息是否全面。比如,除了上述功能,有没有其他的方面?或者用户可能对具体的功能还不太清楚,这时候可以建议他们关注公众号的官方文档或使用工具来了解更多信息。 最后,综合以上分析,我要回答用户的问题,并引导他们查看相关的资料以获取更详细的信息。 关于“魅在心头公众号”的具体功能和用途,需要根据具体的公众号类型和运营情况来理解。如果你指的是某个特定的公众号或品牌(如“魅”可能指的不是微信公众号,而是其他类型的公众号),那么它的功能可能会有所不同。 如果是像微信这样的社交媒体平台,其公众号通常会提供以下内容: 1. 内容创作:发布用户生成的文字、图片、视频等。2. 广告投放:通过合作或者手动投放广告信息。3. 话题讨论:参与话题讨论和互动。4. 推广活动:通过合作或单独推广活动吸引目标 audience。 如果你指的是其他类型的公众号,例如微博或企业内部的平台,功能可能会有所不同。需要提供更多上下文信息才能更准确地回答你的问题。 如果你有具体的公众号类型或其他细节,可以进一步说明,我可以提供更详细的解答。

投喂数据:

图片

投喂后:

得出训练后结果如下:

图片

嗯,用户现在问的是“魅在心头公众号是干嘛的”。看起来他们之前已经讨论过“魅”可能是一个品牌或平台的名字,但这次具体涉及到公众号的内容。 首先,我需要确认“魅在心头”具体指的是什么类型的公众号。可能是微信公众号、微博公众号或者其他类型的社交媒体平台。如果没有明确的信息,我需要做一些合理的推测。 假设“魅”是一个品牌或平台的缩写,那么“魅在心头”可能是指某个具体的公众号名称。例如,μ在initials中,可能指的是一种独特的或者创新的公众号类型。 接下来,我要考虑公众号的功能和用途。通常,公众号的主要功能包括内容发布、广告投放、互动交流等。如果用户问的是公众号本身的功能,我可以总结一些常见的特点: 1. 内容创作:发布用户生成的文字、图片、视频等。2. 广告投放:通过合作或手动投放广告信息。3. 话题讨论:参与话题讨论和互动。4. 推广活动:通过合作或单独推广活动吸引目标 audience。 如果没有具体的公众号信息,我需要假设“魅在心头”可能是一个新兴的公众号类型,或者是一个专注于特定领域的内容平台。因此,我可能会建议用户查看该公众号的官方文档、使用公众号工具了解更多信息。 最后,我要确保回答准确,并引导用户关注相关的资料或工具来深入了解公众号的具体功能和用途。 “魅在心头”的公众号名称并未明确说明具体的功能内容,但可以推测其可能是一个专注于某一领域的个人微信公众号或社交媒体平台。以下是一些可能的解释: 1. 内容创作:发布与“魅”相关的内容,**涵盖个人爱好、人生感悟、生活杂谈等。**2. 广告投放:通过合作或手动投放广告信息。3. 互动交流:参与公众号内的话题讨论和互动活动。 如果你需要更详细的信息,可以参考该公众号的官方文档或使用相关工具(如微信公众号管理界面)来获取更多信息。

可以看出,投喂数据(训练)后给出的答案(画线加粗处)与投喂的数据相吻合,说明AI经过了投喂数据的训练;投喂后能够根据投喂的数据资料完成消化学习,并准确分析给出解答方案。

如何零基础入门 / 学习AI大模型?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高

那么我作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,希望可以帮助到更多学习大模型的人!至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费

👉 福利来袭优快云大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

read-normal-img

640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

👉学会后的收获:👈
基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

👉 福利来袭优快云大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈

img

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

### DeepSeek 训练数据集下载与使用方法 DeepSeek-V3 的训练依赖于高质量的数据集来确保模型的有效性和泛化能力。虽然具体提及的是 Alpaca 数据集用于微调过程[^2],对于 DeepSeek-V3 来说,官方文档或资源库通常会提供详细的指南说明如何获取和准备所需的数据集。 #### 获取官方支持的数据集 如果 DeepSeek 提供了公开可用的数据集链接,则建议直接访问项目主页或 GitHub 仓库寻找官方发布的数据集合。这些资源往往包含了预处理过的文件以及相应的脚本,方便用户快速上手。 #### 自定义数据集准备 当需要自定义数据集时,可以根据以下指导原则: - **格式匹配**:确保新创建的数据遵循已知有效数据结构的要求。例如,在自然语言处理任务中,可能需要 JSON 或 CSV 文件作为输入源。 - **质量控制**:保持数据的一致性和准确性非常重要。去除噪声、纠正错误标签并平衡类别分布有助于提高最终模型的表现。 - **规模考量**:考虑到 DeepSeek-MoE 架构的特点——即通过稀疏激活机制实现高效的参数利用[^1],较大的多样化样本量有利于增强学习效果而不必担心过拟合问题。 #### 实际操作步骤(假设) 由于无法确切知道 DeepSeek 官方提供的工具链细节,这里给出一个通用框架来进行数据集的加载和初步探索: ```bash # 假设存在一个名为 deepseek-data-utils.py 的辅助模块 python -m pip install git+https://github.com/deepseek-team/data-utils.git@v0.1.0 import deepseek_data_utils as dsu # 加载本地路径下的指定数据子集 dataset = dsu.load_dataset(path='./data/alpaca', split='train') for example in dataset.take(5): # 取前五个样例查看 print(example) # 如果是从远程服务器拉取最新版本的数据集 dsu.download_and_prepare('alpaca-latest') ``` 上述代码片段展示了怎样借助 Python 和假定存在的 `deepseek_data_utils` 库完成基本的任务。实际环境中应当参照具体的 API 文档调整命令行选项或者函数调用方式。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值