YXWik的博客

ollama是一个简明易用的本地大模型运行框架,只需一条命令即可在本地跑大模型。开源项目，专注于开发和部署先进的大型语言模型（LLM）1b是10亿参数，通常1B，意味着需要机器需要1G以上的内存，大的数据通常在需要更高性能的任务中使用。Python3.13.0版本安装open-webui时报错。默认是7b，但是需要切换下，这样右边的命令参数才会变。双击下载的OllamaSetup.exe，无脑安装。安装open-webui（web图形化聊天）这里的b代表的是参数数据。方案一：docker安装。

中断之后继续训练，可以使用下面命令，训练步数也会从保存的checkpoint处开始，比如checkpoint保。如果可以通过添加命令，从检查点开始继续训练，但训练集会从头开始训练，适合用新数据集继续训练。当然使用命令训练，没有用webui看loss那么直观，需要加一个命令。对话模版 选择 qwen 是我这里的模型选择的qwen系列的。存点是400步，但是在450步中断，会从400步开始继续。我们用longgeai的甄嬛数据集进行测试。点击预览数据集可以查看数据集的格式。文件，这个文件需要放到。

llama.cpp进行转换大模型格式

因为我们自己微调好的模型呢就是我们自定义的模型了，这个ollama官方不支持咱自己微调的模型，而且我们微调好的模型也不想泄露出去，所以我们就需要这个自定义模型首先要新建一个Modelfile文件，这个文件放哪里都行，最好跟ollama模型放一块我这里放到了下起名叫的内容注册模型成功注册成功后进行使用。

根据类型设置放置不同的大模型，定义其角色为专精类型的角色，如生成流程图，这角色为流程图相关领域专家，提示词可以通过coze自己的自动优化提示词生成，也可以自行通过各种AI模型进行生成调整。这里原计划采用ProcessOn插件 生成 流程图 和 思维导图 方法。需求：通过coze平台实现生成流程图和思维导图，要求支持文档上传。原先提示词模型只定义了一个，现在将生成提示词的大模型分多为个。选择器分发，不同的类型走之后不同的流程 这里默认走思维导图。测试发现ProcessOn的思维导图方法报错。

如果上传了附件需要调用解析文件的插件，该插件只支持域名链接的文件地址，不支持ip格式的地址。需求：整合用户需求+文件内容，要求支持上传文件附件。添加一个大模型用户整合用户需求以及文件的内容。选择器判断是否需要解析文件。

问题偏多建议大家看完文章后再开始实现。

全称 Model Context Protocol 是一种专为人工智能模型设计的通信协议，于2024年11月由Anthropic推出的开放标准。它旨在解决复杂AI系统中多个模型或组件之间的协同、状态管理和资源优化问题，以及AI应用与外部数据源和工具集成中的挑战。MCP 是一个开放协议，用于标准化应用程序向大语言模型提供上下文的方式。