艾醒的博客

Ollama 是一个开源的大型语言模型服务工具，旨在简化在本地运行大语言模型的过程，降低使用大语言模型的门槛。用户可以在自己的设备上运行模型，无需依赖云服务或远程服务器，保护了数据隐私。支持 Windows、macOS 和 Linux 等多种操作系统，方便不同用户安装使用。在本篇中将介绍Windows下使用Ollama进行本地大模型的部署。

提示词工程是通过设计和优化输入提示来引导语言模型生成符合期望的输出的一项技术。一般用于设定模型输出格式或者为模型设置角色。本章中将介绍如何使用提示词工程获得专属于你的猫娘女友模板格式"介绍一下和{name}相关的事"print(prompt_template.format(name="唱、跳、rap、篮球"))输出效果从结果上看，自定义模板就是一个单纯的字符串，每次他的内容随着每次输入的值的变化而变化介绍一下和唱、跳、rap、篮球相关的事模板应用实例为了防止内容单调，这里为猫娘女友增添了一些设定。

ollama在大语言模型的应用中十分的方便，但是也存在一定的问题，比如不能使用自己微调的模型或者当前的模型并没有做ollama官网兼容的时候，从外部导入模型就十分必要。本章将会介绍两种常见格式模型导入ollama的方式。

视觉多模态语音模型由预训练的多模态编码器、预训练的 LLM 以及连接两者的多模态接口等主要组件构成。将图像信息转换为可被语言模型处理的特征表示。拥有强大的视觉理解能力，能够准确理解图像内容，进行图像描述、视觉问答、图像定位等任务。可以与用户进行多轮交互，根据用户的文本和图像输入生成连贯、准确且有针对性的回答。本篇文章将介绍使用langchain调用ollama视觉多模态语音模型。

HuggingFace有一个巨大的模型库，其中包括很多的比较成熟的经典模型，这些模型即使不进行任何训练也能直接得出比较好的预测结果（Zero Shot Learning）。transformers中提供的管线（pipeline）API隐藏了大量复杂的底层代码，直接使用现有的模型，不再需要再训练就可以获得较好的效果。在学习transformers的初期可能会遇到一些问题，本篇文章将解决transformers中使用管线中可能遇到的问题。

在使用huggingface的模型时，很多情况下已有的模型并不能完全满足实际的需求，这种情况下模型微调是常见的解决方式，在本篇文章中将使用transformers针对huggingface格式的中文Bert分类模型为例介绍微调的过程以及解决在微调过程中可能存在的一些问题。

下载过程分为两种，一种是下载项目，另外一种是直接使用pip下载，两种用法最后的效果是一致的，如果不需要修改源码，可以选择pip方式下载，这样比较方便。不过当前的模型并不能直接拿来使用，我们需要修改一下，不如可能会出现一些奇怪的错误，笔者遇到的问题是在生成entities时识别不到entity。，如果是用项目方式下载，直接在项目下新建，如果是使用pip方式下载的，新建一个项目在新建的项目里新建文件夹。构建索引的过程就是构建知识图谱的过程，同样的，读者需要将笔者的路径替换为自己的路径。，修改以下两部分，将。

按照原本GraphRAG的提示词，直接生成的知识图谱全为英文。这对于中文文本显然不利，本篇将从提示词的方面完美解决这一问题。

在之前的文章中笔者解决了使用本地模型部署GraphRAG并生成知识图谱的过程，并且解决了原本提示词只生成英文知识图谱的问题，在本篇中，笔者将配置Neo4j图数据库并导入GraphRAG生成的知识图谱数据。玩转大语言模型——使用GraphRAG+Ollama构建知识图谱玩转大语言模型——完美解决GraphRAG构建的知识图谱全为英文的问题。

最近deepseek模型可谓是非常火爆，无论是逻辑能力还是知识层次都取得了很大的技术进步，最重要的是他完全开源，并且deepseek R1还开放了多种参数大小的蒸馏模型，使得本地部署成为了可能。经过实测，如果仅用于聊天消遣，不给模型较难的任务，1.5b的模型就已经有了一个很好的表现了，本章中将从零开始介绍本地部署deepseek R1，并且安装相关的可视化软件以供调用本地模型。

最近deepseek模型可谓是非常火爆，尤其是deepseek R1的逻辑能力，并且deepseek R1还开放了多种参数大小的蒸馏模型，使得本地部署成为了可能。在本系列中上一篇介绍了在本地部署deepseek R1的用法，本篇将介绍如何部署本地大模型的数据库。

在前期的几个文章中我们已经介绍了很多带UI的本地化部署方式了，而今天我们要介绍的LM Studio，不仅可以实现本机的使用，还可以为其他软件或处于同一局域网下的其他计算机提供接口的调用，和其他本地部署软件配合起来使用更佳。本章将介绍在Windows环境下和Linux环境下下载并部署LM-Studio。

llama.cpp是一个基于C/C++的开源项目，旨在高效地运行大型语言模型推理。纯采用纯C/C++编写，不依赖其他外部库，可移植性强，只要环境支持C/C++运行，就能运行llama.cpp。支持Apple芯片，通过ARM NEON等框架进行优化；支持x86架构的AVX等指令集；提供自定义CUDA内核，支持NVIDIA、AMD等GPU，还支持Vulkan和SYCL后端，可实现CPU+GPU混合推理。除此之外还支持1.5位到8位的整数量化，加快推理速度并减少内存使用，便于在资源有限的设备上运行。

Kiln AI是一个强大的工具，主要用于微调大型语言模型（LLM）、生成合成数据以及协作数据集。Kiln AI提供了一整套无需编程、可视化操作的解决方案，帮助用户从零开始构建微调后的模型。用户可以通过Kiln UI创建任务，明确需求、初始提示和输入输出结构，然后选择合适的模型并配置参数，即可发起微调任务。Kiln支持多种主流模型，如OpenAI的GPT-4o系列、Meta的Llama 3.1与Llama 3.2以及Mistral的Mixtral等。