使用llama.cpp 在推理MiniCPM-1.2B模型

llama.cpp 是一个开源项目，它允许用户在C++中实现与LLaMA（Large Language Model Meta AI）模型的交互。LLaMA模型是由Meta Platforms开发的一种大型语言模型，虽然llama.cpp本身并不包含LLaMA模型的训练代码或模型权重，但它提供了一种方式来加载预先训练好的模型，并使用它们进行文本生成等任务。

特点

• 轻量级：相比于使用Python和深度学习框架如PyTorch或TensorFlow，llama.cpp是一个纯C++实现，可以更轻松地部署到资源受限的环境中。
• 独立性：它不需要依赖于复杂的外部库，这使得它在某些情况下更容易集成到现有系统中。
• 可移植性：由于它是用C++编写的，因此理论上可以在任何支持C++的平台上运行。

使用方法

获取源码

首先，你需要从GitHub获取llama.cpp的源代码：

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

安装依赖

sudo apt install build-essential ninja-build cmake

编译

然后，你需要编译项目。这通常涉及安装必要的依赖项（如CMake），然后运行编译命令：

cmake -GNinja -Bbuild_ninja
cmake --build build_ninja

下载模型

sudo apt install git