AI大模型应用开发学习-15【20251119】

学习内容：

Coze工作原理与应用实例

• CASE：创建产品知识库

学习产出：

Q & A

Q：大模型对话框的memory是怎么实现的？比如ds的R1对话框，是每次在对话框中提问，都会自动把之前的对话内容作为上下一起扔给大模型思考一遍吗？

是的，上下文的管理
比如你可以设置最新的 N次对话，一起传给大模型

Q：想问下网页上的大模型的ID或者参数量在哪里可以查看呢

https://modelscope.cn/home
https://modelscope.cn/models/Qwen/Qwen3-VL-8B-Instruct
Qwen/Qwen3-VL-8B-Instruct
模型名称中会有参数量，8B

高低代码协同
Coze 低代码 => 可视化编排，但不能解决个性化的问题
wucai高代码 =>解决个性化的问题，

Q：怎么断点续训练，加了配置参数，停止内核后就报错，重启又从头开始了

模型微调么，save_steps=10
在当前的文件夹下面会有历史保存的 save points
下次，可以直接从某个 save point进行读取，然后再进行训练

在跑GRPO的强化学习微调时，跑到20的时候报错了。问了ai答复是：关掉 4bit，关掉 fast_inference → 用 bf16 全精 + LoRA；

验证基础 model.generate 正常；
给模型设置一个 保守的 generation_config（先贪心解码）；
重新跑 GRPO 的 trainer.train()，先把 pipeline 跑通；
再逐步恢复 do_sample=True + 合理的温度 / top_p。

Q：上下文的token压缩是怎么做的？能让大模型自己做吗？

LLM自己做 compact，将历史对话的内容进行压缩

Q：在上节课跑步数的时候，每次都会跳出Loss值，Loss值会逐渐减小。但是其他样本却没有跑完。那这些Loss值是针对哪些样本来的？

Loss 基于当前已经训练的样本

Q：上次的模型训练，在autodl把代码复制上去就可以了吗，model文件，训练文件是本地下载上传吗

直接在autodl里面通过 modelscope可以下载

Q：在autoDL上进行模型微调一直显示连不上huggingface，怎么办

autodl 有个连接外网的指令

Q：Coze的工作流能调用工作流吗？

可以的，节点里面有工作流
所以说：工作流可以嵌套

Q：deepseek app 用的模型是多少B的

671B

Q：coze调大模型收费吗

积分

Q：有必要掌握langgraph,langchain吗

有必要，高代码

Q：工作流中如果需要用户补全信息才能进行下一步，怎么在大模型判断后，让用户再次输入补全信息？

可以让大模型判断，当前是否满足条件
是 =》 下一个节点
否 =》 回到之前某个节点

Q：意图识别 匹配过程 不能讲一下 后面逻辑

HiAgent，
Qwen-Turbo的价格是多少？
LLM进行语义的理解 => 查询 Excel （SQL查询，索引，精确的查询）=> 结果回答给用户

Coze VS Dify
Excel在Coze的实现方式 是精确查询，通过SQL查询
Excel在Dify的实现方式 是模糊查询，类似 文本查询

Coze 个人用的多
Dify 企业用的多（开源社群版本，免费用）

https://www.douyin.com/jingxuan?modal_id=7573603931293633827

Q：coze的能力上限是什么？在什么情况下不用考虑使用

coze：低代码编排，很多时候 就是用现成的组合，搭建自己的工作流
能力上线是在于 插件和工作流的能力（如果是Coze编排，上限不是很高，最好能用高代码）

Q：工作流节点什么时候用插件，什么时候用大模型呢？

大模型 擅长文字处理
插件 第三方服务（比如 天气、新闻查询）

Q：这个古诗文怎么还能返回文本对话呢

Agent中的LLM 通过调用工作流（返回结果）=> 回复给用户

Q：我上传的RAG， 会被别人下载并使用吗？

RAG知识库 会在Coze服务器，
别人用，只能对你的智能体进行提问

Q：这个agent开发完后，可以提供api给其他应用调用吗

可以

Q：去阿里巴巴批量获取价格，销售量和评价等数据，并生成图表，请问老师有什么插件

price, sales, comments

Q：用coze构建的Agent,怎么给用户用？或者说怎么集成到自己的系统应用中？

开放用户：豆包
公司系统： API接口

Q：扣子的智能体可以封装到公司的OA平台上吗？有和扣子差不多的免费平台吗？

接口就是API，一般工作里面是后端的存储信息，前端调用用的。

Q：上传RAG后，会优先从RAG里找答案吗？

会的

Q：如果都使用知识库中的内容来回答，是不是只需要LLM的语义理解就行了，不需要部署大参数的模型，使用最小参数的模型就行了？

LLM推理能力和语义理解能力还是重要的

Q：AI产品经理要学习到什么程度呀？

coze, dify，解决方案（RAG，Text2SQL, Tool开发，MCP，多模态）