风信子的博客

Qwen打包部署（大模型转换为 GGUF 以及使 用 ollama 运行）

GGUF 格式的全名为（GPT-Generated Unified Format），提到GGUF 就不得不提到它的前身GGML（GPT-GeneratedModelLanguage）。GGML 是专门为了机器学习设计的张量库，最早可以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并且易于在不同架构的 GPU 和CPU 上进行推理。但在后续的开发中，遇到了灵活性不足、相容性及难以维护的问题。