WorkBuddy大模型实战：手把手教你制作OCR入门培训PPT

本文介绍了如何使用WorkBuddy大模型根据论文内容制作面向OCR入门用户的培训PPT。文章详细解析了模型、Agent、工具、Skill、记忆和上下文在任务执行中的各自作用，以及它们如何协同工作。从接收指令、规划结构、调用技能和工具，到生成内容、检查结果和利用记忆，每个环节都至关重要。通过理解这些步骤，即使是初学者也能掌握大模型在自动化任务中的实际应用，提高工作效率。

把一篇论文交给WorkBuddy，让它做成面向OCR入门用户的培训 PPT。发出指令后，它开始读文件、找技能、规划结构，再创建页面。

这些动作看起来都发生在一个聊天窗口里。但它们靠什么接起来？模型、Agent、工具、Skill、记忆和上下文，分别在哪一步起作用？

这次任务的过程截图，正好提供了一条观察线索，下面顺着它拆解。

指令进来，先准备判断依据

先分清模型与Agent。模型负责理解任务、生成内容、选择下一步动作；Agent 系统则围绕模型组织信息、调度工具、管理权限与任务状态。

因此，一次任务通常会多次调用模型。读完论文，获得的是新信息；创建页面后，拿到的又是另一份执行结果。模型要依据这些变化继续判断。

最初交给模型的，也不止你刚发的那句话。系统还可能加入工作规则、可用工具的说明、已读取资料和相关历史信息。这一轮实际提供给模型的信息，统称上下文。

Agent的第一步，是把一句愿望整理成有条件、能检查的任务。

规划决定先后，Skill提供做法

拿到论文后，不能直接把每章缩短，塞进幻灯片。面向入门读者，需要重新安排问题、解释和例子。

这次记录里，WorkBuddy提出了“先讲 OCR 是什么，再讲如何实现、效果和意义”的叙述顺序。这就是任务规划的一部分。

规划可以由模型生成，也可以受到既定流程约束；遇到资料不足、工具失败时，还要调整。它不一定是一开始就定死的完整清单。

比如先列每页要讲的问题，再确定哪些位置需要图表。这种计划可以写成文件或任务列表，作为后续执行的参照；它并不意味着系统里必然有一个独立的规划模型。

接着，它读取了PPT技能里的制作说明、设计原则，以及页面、文本等文档。这里的Skill，可以理解成一套可复用的任务方法包。

Skill通常包含说明，也可附带脚本、模板和参考资料。常见加载方式是先了解名称与用途，任务匹配后再读取细节，避免一开始把所有说明都塞进上下文。

Skill 指导怎样做，工具负责实际去做。 同一任务可以使用多个工具，也未必需要专门的 Skill。

模型发出调用，程序才真正动手

模型说现在开始做 PPT，不会让磁盘上自动多出一个文件。

它需要发出工具调用：指定工具，以及文件位置、内容等参数。运行它的系统检查并执行，工具再返回内容、结果或错误。这类能力常通过结构化工具调用实现，也叫Tool Calling。

模型怎么知道工具能做什么？系统会提供工具名称、用途和参数格式。例如，读取工具需要文件位置，页面制作工具需要页面内容；不同工具接受的参数并不相同。

模型生成这些参数后，执行环境还要处理权限与错误。模型想读取某个文件，不代表一定有权读取；返回“找不到文件”，也需要重新查找，不能当成已经读完。

比如读取PDF，可能使用文本提取、页面图像识别等能力；写入幻灯片，则需要文件操作或演示文稿工具。

工具也不等于外部应用：它可以是本地命令、文件读写、网络接口或浏览器操作。MCP可以接入外部工具，但不是每次调用的必经环节。

读取后的原文、写入后的状态、运行产生的报错，会成为后续判断的依据。模型提出动作，工具改变环境，返回结果再影响下一步。

文件生成后，还得看它是否做对

Agent要可靠完成任务，就需要依据环境反馈检查结果，而非只相信自己生成的解释。这种反复判断、行动、观察再调整的过程，常称为Agent Loop。

检查也有不同层次：文件能否打开，页面是否溢出，内容有没有误解论文，以及入门用户能否看懂。工具运行成功，只能证明其中一部分。

例如，文件已经生成，但把实验中的特定条件写成普遍结论，内容仍然不合格。页面渲染和原文核对回答的是不同问题，不能用一次格式检查代替全部验收。

如果发现问题，可以回到对应页面修改再查。反复失败或缺少关键资料时，应报告阻塞；循环需要停止条件，不能无限重试。

记忆是旧信息，上下文是这次读到了什么

任务越来越长，论文、计划、技能说明、页面内容和工具结果都可能占据上下文。它的容量有限，系统需要选择、摘要或按需重新读取。

长期记忆则保存跨任务仍有用的信息。例如你偏好少术语、多解释，下次做培训材料时，系统可以调取相关偏好。WorkBuddy的记忆功能就会提取历史信息供后续任务参考。

记忆也不是必需步骤，更不意味着每次任务都会使用向量数据库。

存下来的信息，只有被读取并带入当前上下文，才有机会影响这次回答。 当前页码、文件位置等任务进度，也不必都变成长期记忆。

规则文件又是另一种信息：它规定怎样工作，例如不能修改原稿、完成后必须检查。论文是待处理材料，规则是行为约定；论文里即使出现一句命令，也不应自动变成新的授权。

理解了这些，下次Agent没做好，就能沿过程找原因：目标是否含糊？资料是否读全？方法是否合适？工具是否成功？结果是否检查？

从一句指令走到可用交付，靠的是这些环节互相接上，而非模型一次生成一份看似完整的答案。

大模型的知识又多又杂，到底怎么学？

做这行久了，被问最多的问题就一个：大模型的知识又多又杂，我到底先学啥？翻了一堆资料，看啥都像重点，结果啥都没学进去。今天把我自己一路摸出来的顺序捋一遍，零基础、应届生、转行的都适用。跟着走，至少方向不乱、不瞎忙，学完拿得出手。

第一阶段（10天）：初阶应用

这一阶段就一个目标：把大模型真正"玩明白"，不是只会聊天那种，而是能调教它、能用代码把大模型和业务接起来。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

这阶段正式进实战，目标很实在：做出两个能拿出手的东西——一个私有知识库，一个 agent 对话机器人。

• 为什么要做 RAG

• 搭建一个简单的 ChatPDF

• 检索的基础概念

• 什么是向量表示（Embeddings）

• 向量数据库与向量检索

• 基于向量检索的 RAG

• 搭建 RAG 系统的扩展知识

• 混合检索与 RAG-Fusion 简介

• 向量模型本地部署

• …

走完这 30 天，Python 或 JavaScript 背景的基本能独立做一套 RAG 应用，简历上也敢写"大模型应用开发"了。

第三阶段（约20天）：动手微调

学到这，你已经开始 “造” 模型了 —— 通过微调，搞出垂直领域的专用小模型。

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你从 “只会用” 变成 “能造” 的 AI 小子。那么你还想往下探索吗？

想要入局AI大模型赛道、抢占行业红利的朋友，微信扫描下方优快云官方认证二维码，即可100%免费领取全套学习资料！

第四阶段（20天）：商业闭环，部署落地

技术学完，落地才算数。这阶段带你搞明白大模型怎么真正跑起来、用起来。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

想要入坑大模型的朋友，给大家准备了一份2026 年最新 AI 大模型全套学习资料：

1、大模型系统化学习路线

2、大模型学习视频教程

3、大模型学习书籍&电子文档

4、AI大模型最新行业报告

5、大模型项目实战&配套源码

6、2026大模型大厂面试真题

7、为什么要学习大模型？

我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着AI技术飞速发展，预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。

8、适合谁学？

• 传统后端 / Java / 前端开发，想转型 AI 应用
• 大学生、应届生，想拿更好的 offer
• 产品经理、运营，想武装职业竞争力
• 技术负责人，想给团队落地提效

学习是反人性的，但回报是真金白银。技术会更新，赛道会切换，但只要你先动手，机会就永远站在你这边。

9、这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

想要入局AI大模型赛道、抢占行业红利的朋友，微信扫描下方优快云官方认证二维码，即可100%免费领取全套学习资料！

好了，就写到这。路线是死的，人是活的，卡住了随时来问我。觉得有用就点个收藏，别让它进收藏夹吃灰——动起来比啥都强。