weixin_46316820的博客

首先，确保安装了 CTranslate2 和 faster-whisper（基于 CTranslate2 的 Whisper 实现）。转换完成后，模型会保存在 /path/to/whisper-small-ct2 目录中。–quantization：量化方式（可选 int8、float16 等）。–model：Hugging Face 模型的路径。–output_dir：转换后的模型输出路径。

【代码】实战：vLLM多机多卡部署大模型。

自定义数据集可直接通过命令行来调用开始评测。

GGUF 格式的全名为（GPT-Generated Unified Format），提到 GGUF 就不得不提到它的前身GGML 是专门为了机器学习设计的张量库，最早可 以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并 且易于在不同架构的 GPU 和 CPU 上进行推理。但在后续的开发 中，遇到了灵活性不足、相容性及难以维护的问题。

Qwen/Qwen1.5-1.8B-Chat 模型为例子ModelFile文件内容。

在 ModelScope 中，snapshot_download 是一个非常有用的工具，可以直接下载模型文件到指定路径，而无需加载模型。

如果显示版本号，说明安装成功。

【代码】Huggingface下载模型的几种方式。

粗体推荐使用，性能较好。