YXWik的博客

本文介绍了在Linux系统上安装和配置Whisper语音识别工具的全过程。首先在home目录创建whisper文件夹，下载whisper.cpp源码并解压。接着安装ffmpeg和必要的依赖包，通过脚本自动下载CentOS 7.9和EPEL的RPM包。然后配置CMake环境并编译whisper.cpp源码，将生成的可执行文件安装到/opt/whisper/bin目录。最后创建了一个便捷的whisper-transcribe命令脚本，用于调用whisper-cpp进行语音转写，支持自动将输入音频转换为16kHz

我这里用的 ：ollama+ qwen 大家可以根据自己的环境自行更改Windows版本Linux版本。

添加正面和负面评价的代码处理集。点击函数选择变量聚合输出的值。Webhook 地址。Webhook 地址。

Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助Xinference，我们可以使用任何开源LLM嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。和Ollama。

可视化工作流编排：通过零代码拖拽式界面，无需编写代码就能构建复杂的AI工作流程，降低开发门槛，提高开发效率。多模型支持：可无缝集成GPT系列、Llama、Mistral等数百种语言模型，兼容OpenAI API兼容的私有化模型，也支持本地部署的LLaMA2、ChatGLM3等开源模型，让企业能根据业务需求和成本灵活选择。RAG增强检索。

官网首页直接提供的Desktop脚本安装，只能够个人使用，无法多人使用。方式进行安装可以满足多人同时使用。我这里的模型是 本地。

脚本会在docker中安装 redis 、 minio 、 es 、mysql 、ragflow ，如果服务器存在这些服务的记得处理下，为避免ragflow的端口冲突，我在脚本中设置了端口为8880开始检测，如果没占用采用8880进行web端访问端口。如果重复运行脚本就需要执行以下命令进行清理后再重启。将以下两个文件放到docker目录下。进入项目的docker目录下。设置模型，前文中安装了。总结：服务器需要安装。上传到服务器进行解压。

Ollama 是一个本地运行大型语言模型的简易框架，支持一键安装和部署。文章提供了 Linux环境下的 Docker 安装配置、Ollama 容器部署、Deepseek 模型下载以及 Open WebUI 可视化界面安装等功能，简化了本地大模型的运行流程。安装完成后，用户可通过指定端口访问 Ollama 服务和 Web 管理界面。

RAG（检索增强生成）技术的应用场景与实现原理。RAG通过将用户问题与向量数据库中的文档进行相似度匹配，再结合大模型生成答案，有效解决了模型幻觉和精度问题。相比微调方法，RAG成本更低，适合数据量较小的企业。文章详细介绍了RAG的工作流程：从文本向量化、向量数据库存储到相似度检索，并比较了Naive RAG的优缺点。最后指出当RAG精度不足时可结合知识图谱，并提供了入门Demo链接。RAG平衡了成本与效果，是当前大模型应用的重要技术方案。

720P ：视频分辨率通常指 1280×720（约 92万像素），视频宽高比为16:9。示例：若输入图像的宽高比例为 4:3，且视频分辨率档位为720P ，则输出视频的宽高比会保持4:3，分辨率会调整为接近 92万像素。例如，输出视频的分辨率为 1024×960，总像素 98.3万（此数据仅做参考，以实际输出为准）。轮询结束后获取视频链接，因为轮询会把每次的结果集都返回，（要么在轮询体中处理，要么就是返回后处理，这里是返回后处理的，拿的最后一条）：首帧图的url，采用首帧图生视频或者首尾帧图生视频时使用。

RAGNaive RAG(朴素RAG)、(高级RAG)和(模块化RAG)RAG在成本效益上超过了原生LLM，但也表现出了几个局限性，这也更大家一个印象:入门容易，做好难。和的发展是为了解决Naive RAG中的缺陷。Naive RAG遵循一个传统的流程，包括索引、检索和生成，它也被称为“检索-阅读”框架，将查询(query)与文档的检索结合起来，通过大语言模型 (LLM) 生成答案。将数据先通过嵌入（embedding）算法转变为向量数据，然后存储在Chroma这种向量数据库。

RAGFlow是一种融合了数据检索与生成式模型的新型系统架构，其核心思想在于将大规模检索系统与先进的生成式模型（如Transformer、GPT系列）相结合，从而在回答查询时既能利用海量数据的知识库，又能生成符合上下文语义的自然语言回复。该系统主要包含两个关键模块：数据检索模块和生成模块。数据检索模块负责在海量数据中快速定位相关信息，而生成模块则基于检索结果生成高质量的回答或文本内容。

ollama是一个简明易用的本地大模型运行框架,只需一条命令即可在本地跑大模型。开源项目，专注于开发和部署先进的大型语言模型（LLM）1b是10亿参数，通常1B，意味着需要机器需要1G以上的内存，大的数据通常在需要更高性能的任务中使用。Python3.13.0版本安装open-webui时报错。默认是7b，但是需要切换下，这样右边的命令参数才会变。双击下载的OllamaSetup.exe，无脑安装。安装open-webui（web图形化聊天）这里的b代表的是参数数据。方案一：docker安装。

中断之后继续训练，可以使用下面命令，训练步数也会从保存的checkpoint处开始，比如checkpoint保。如果可以通过添加命令，从检查点开始继续训练，但训练集会从头开始训练，适合用新数据集继续训练。当然使用命令训练，没有用webui看loss那么直观，需要加一个命令。对话模版 选择 qwen 是我这里的模型选择的qwen系列的。存点是400步，但是在450步中断，会从400步开始继续。我们用longgeai的甄嬛数据集进行测试。点击预览数据集可以查看数据集的格式。文件，这个文件需要放到。

llama.cpp进行转换大模型格式

因为我们自己微调好的模型呢就是我们自定义的模型了，这个ollama官方不支持咱自己微调的模型，而且我们微调好的模型也不想泄露出去，所以我们就需要这个自定义模型首先要新建一个Modelfile文件，这个文件放哪里都行，最好跟ollama模型放一块我这里放到了下起名叫的内容注册模型成功注册成功后进行使用。

根据类型设置放置不同的大模型，定义其角色为专精类型的角色，如生成流程图，这角色为流程图相关领域专家，提示词可以通过coze自己的自动优化提示词生成，也可以自行通过各种AI模型进行生成调整。这里原计划采用ProcessOn插件 生成 流程图 和 思维导图 方法。需求：通过coze平台实现生成流程图和思维导图，要求支持文档上传。原先提示词模型只定义了一个，现在将生成提示词的大模型分多为个。选择器分发，不同的类型走之后不同的流程 这里默认走思维导图。测试发现ProcessOn的思维导图方法报错。

如果上传了附件需要调用解析文件的插件，该插件只支持域名链接的文件地址，不支持ip格式的地址。需求：整合用户需求+文件内容，要求支持上传文件附件。添加一个大模型用户整合用户需求以及文件的内容。选择器判断是否需要解析文件。

问题偏多建议大家看完文章后再开始实现。

全称 Model Context Protocol 是一种专为人工智能模型设计的通信协议，于2024年11月由Anthropic推出的开放标准。它旨在解决复杂AI系统中多个模型或组件之间的协同、状态管理和资源优化问题，以及AI应用与外部数据源和工具集成中的挑战。MCP 是一个开放协议，用于标准化应用程序向大语言模型提供上下文的方式。