llama.cpp模型推理之界面篇

目录

前言

一、llama.cpp 目录结构

二、llama.cpp 之 server 学习

1. 介绍

2. 编译部署

3. 启动服务

4、扩展或构建其他的 Web 前端

5、其他

---

前言

在《基于llama.cpp学习开源LLM本地部署》这篇中介绍了基于llama.cpp学习开源LLM本地部署。在最后简单介绍了API 的调用方式。不习惯命令行的同鞋，也可以试试 llama.cpp 界面的交互方式，本章就详细介绍一下server。

---

一、llama.cpp 目录结构

整个目录比较简洁，没多少东西，以最少的代码实现最全的功能，值得学习。文档都很全，基本上在学习该推理框架时遇到或者没有想到，你都能在根目录或子目录的README.md 找到。

本章主要讲 server的界面。可以在examples/server下看看README。或者直接翻到根目录下打开README.md. 找到如下点击：

 

二、llama.cpp 之 server 学习

1. 介绍

 llama.cpp 的 server 服务是基于 httplib 搭建的一个简单的HTTP API服务和与llama.cpp交互的简单web前端。

server命令参数：

• --threads N, -t N: 设置生成时要使用的线程数.
• -tb N, --threads-batch N: 设置批处理和提示处理期间使用的线程数。