YXWik的博客

本文介绍了在Linux系统上安装和配置Whisper语音识别工具的全过程。首先在home目录创建whisper文件夹，下载whisper.cpp源码并解压。接着安装ffmpeg和必要的依赖包，通过脚本自动下载CentOS 7.9和EPEL的RPM包。然后配置CMake环境并编译whisper.cpp源码，将生成的可执行文件安装到/opt/whisper/bin目录。最后创建了一个便捷的whisper-transcribe命令脚本，用于调用whisper-cpp进行语音转写，支持自动将输入音频转换为16kHz

Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助Xinference，我们可以使用任何开源LLM嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。和Ollama。

Ollama 是一个本地运行大型语言模型的简易框架，支持一键安装和部署。文章提供了 Linux环境下的 Docker 安装配置、Ollama 容器部署、Deepseek 模型下载以及 Open WebUI 可视化界面安装等功能，简化了本地大模型的运行流程。安装完成后，用户可通过指定端口访问 Ollama 服务和 Web 管理界面。

RAG（检索增强生成）技术的应用场景与实现原理。RAG通过将用户问题与向量数据库中的文档进行相似度匹配，再结合大模型生成答案，有效解决了模型幻觉和精度问题。相比微调方法，RAG成本更低，适合数据量较小的企业。文章详细介绍了RAG的工作流程：从文本向量化、向量数据库存储到相似度检索，并比较了Naive RAG的优缺点。最后指出当RAG精度不足时可结合知识图谱，并提供了入门Demo链接。RAG平衡了成本与效果，是当前大模型应用的重要技术方案。

RAGNaive RAG(朴素RAG)、(高级RAG)和(模块化RAG)RAG在成本效益上超过了原生LLM，但也表现出了几个局限性，这也更大家一个印象:入门容易，做好难。和的发展是为了解决Naive RAG中的缺陷。Naive RAG遵循一个传统的流程，包括索引、检索和生成，它也被称为“检索-阅读”框架，将查询(query)与文档的检索结合起来，通过大语言模型 (LLM) 生成答案。将数据先通过嵌入（embedding）算法转变为向量数据，然后存储在Chroma这种向量数据库。

RAGFlow是一种融合了数据检索与生成式模型的新型系统架构，其核心思想在于将大规模检索系统与先进的生成式模型（如Transformer、GPT系列）相结合，从而在回答查询时既能利用海量数据的知识库，又能生成符合上下文语义的自然语言回复。该系统主要包含两个关键模块：数据检索模块和生成模块。数据检索模块负责在海量数据中快速定位相关信息，而生成模块则基于检索结果生成高质量的回答或文本内容。

因为我们自己微调好的模型呢就是我们自定义的模型了，这个ollama官方不支持咱自己微调的模型，而且我们微调好的模型也不想泄露出去，所以我们就需要这个自定义模型首先要新建一个Modelfile文件，这个文件放哪里都行，最好跟ollama模型放一块我这里放到了下起名叫的内容注册模型成功注册成功后进行使用。

llama.cpp进行转换大模型格式

全称 Model Context Protocol 是一种专为人工智能模型设计的通信协议，于2024年11月由Anthropic推出的开放标准。它旨在解决复杂AI系统中多个模型或组件之间的协同、状态管理和资源优化问题，以及AI应用与外部数据源和工具集成中的挑战。MCP 是一个开放协议，用于标准化应用程序向大语言模型提供上下文的方式。

中断之后继续训练，可以使用下面命令，训练步数也会从保存的checkpoint处开始，比如checkpoint保。如果可以通过添加命令，从检查点开始继续训练，但训练集会从头开始训练，适合用新数据集继续训练。当然使用命令训练，没有用webui看loss那么直观，需要加一个命令。对话模版 选择 qwen 是我这里的模型选择的qwen系列的。存点是400步，但是在450步中断，会从400步开始继续。我们用longgeai的甄嬛数据集进行测试。点击预览数据集可以查看数据集的格式。文件，这个文件需要放到。

添加 deepseek_R1 大模型。input 输入选择用户输入信息。用来接收bing搜索内容。结束点击选择文本进行输出。添加提取搜索关键字模型。完事后点击试运行测试。

没有conda的安装一个最好安装一个方便使用。模型名称 在modelscope上查看。安装 modelscope。

点击右上角更新发布 或者 发布 ，发布成功后再API处可以查看官方的Demo。可以使用SpringAI进行调用也可以使用官方提供的方法，之前有。复制此处的应用ID 就是 APPID 留着调用时使用。在此处创建一个鉴权的API-KEY ，代码调用使用。改一改内容就可以用，这里就采用官方的方式进行调用。替换自己的 APPID 和 API-KEY。首先去百度千帆应用处创建一个应用。根据自己的业务配置应用的角色。

你们可以根据自己部署的模型更改代码中的配置进行访问。我这里ollama部署的是。运行项目 测试demo。

一般通用大模型无法满足企业实际业务需求，涉及到知识局限性、信息安全等问题，企业不能将私域数据上传到第三方平台训练，而 AnythingLLM 就是为解决这个问题而生的框架。它能在本地轻松构建基于 LLM 的 AI 应用，集成 RAG、向量数据库和强大的 Agent 功能，是高效、可定制、开源的企业级文档聊天机器人解决方案。为 4096 (这里的 token 数量视情况而定，一般来说越大会越准确但解析等待时间越长)为 http://host.docker.internal:11434。

ollama是一个简明易用的本地大模型运行框架,只需一条命令即可在本地跑大模型。开源项目，专注于开发和部署先进的大型语言模型（LLM）1b是10亿参数，通常1B，意味着需要机器需要1G以上的内存，大的数据通常在需要更高性能的任务中使用。Python3.13.0版本安装open-webui时报错。默认是7b，但是需要切换下，这样右边的命令参数才会变。双击下载的OllamaSetup.exe，无脑安装。安装open-webui（web图形化聊天）这里的b代表的是参数数据。方案一：docker安装。