CPWWHSU的博客

上一章从实战角度介绍了如何将DeepSeek-Harness与本地大模型推理引擎llama.cpp进行整合。本章将在此基础上，进一步探讨如何将DeepSeek-Harness嵌入桌面端应用。参照开源开源项目()，并在本地Windows 11环境下完成部署与运行，同时对其中存在的问题进行修正。本章将从架构介绍、环境配置、实际使用三个方面进行介绍。。整体架构使用了Qt提供的QtWEbEngine和QProcess的能力。

llama.cpp 是本地大模型推理的高效后端引擎，而 LM Studio 则通过图形化界面与 API 服务，对 llama.cpp 的 GGUF 模型格式提供了深度集成与封装，显著降低了本地模型的部署与调用门槛。DeepSeek-Harness 是 DeepSeek AI 推出的开源 Agent 智能体框架，其核心理念为“一切皆插件”——模型、工具、界面及智能体行为均可按需添加、移除或替换。该插件式架构由 Cordis 驱动，使开发者能够精细掌控 Agent 的执行逻辑，而非受限于固定工作流。

大语言模型无法直接处理原始字符串，必须先将文本切分为词元（Token）；随后结合模型内置的词汇表与嵌入(Embedding)矩阵，将词元数组映射为高维向量序列，作为后续模型推理计算的输入基础。本章将深入探讨大语言模型推理的关键准备环节——词汇表与分词，从基础知识、实验与现象和分析与结论三个方面展开详细的介绍。

摘要：本文深入探讨了基于GGUF格式的大语言模型加载与初始化过程。首先介绍了GGUF格式的特点和文件结构，包括头文件、张量信息和数据三部分。随后从代码层面分析了llama.cpp中的模型加载流程，详细阐述了从server_context到llama_model的调用路径，以及gguf_context和ggml_context的解析过程。文章还提及了GPU计算后端加载和tensor处理等关键环节，为后续模型推理奠定了基础，同时指出分词处理将是下一阶段的重点研究内容。

在 LLM 落地应用的过程中，推理效率和部署门槛是开发者面临的两大痛点。llama.cpp 以其卓越的跨平台兼容性和惊人的推理速度，成为了当前本地推理事实上的工业标准。本系列文章将构建一条从“应用使用”到“源码解析”的学习曲线，包含入门与概览、模型加载与初始化、推理循环核心、计算后端与性能调优、总结与展望五个部分。第一章“初识 llama.cpp-轻量级推理引擎”作为入门与概览的首篇文章，将从简介、编译、本地运行三个方面，快速建立对llamacpp的认识。

llama-server是llama.cpp中用于发布大模型服务的工具。它通过极简的命令行配置，将复杂的模型推理过程封装为通用的 HTTP 接口；在底层，它选择以纯 C++ 编写的 cpp-httplib 作为服务框架的底层。本章分为应用实战与底层架构两部分。首先，我们将介绍不同参数下的大模型服务发布；接着，我们将详细解析 cpp-httplib 在项目中的具体实现，帮助读者掌握该服务端在网络调度层面的运行逻辑。