人工智能_大模型075_AI产品部署和交付05_LeptonAI轻子智能_Ollama大模型_lepton Ai在线模型使用_ollama安装使用_本地模型搭建---人工智能工作笔记0210

然后我们再来看这个在本地搭建一个大模型,这里搭建chatglm3-6b模型

cpp (c++ c plus plus)

• 纯 C/C++ 实现，无需外部依赖。
• 针对使用 ARM NEON、Accelerate 和 Metal 框架的 Apple 芯片进行了优化。
• 支持适用于 x86 架构的 AVX、AVX2 和 AVX512。
• 提供 F16/F32 混合精度，并支持 2 位至 8 位整数量化。

https://github.com/li-plus/chatglm.cpp

参考这个网址进行搭建.

 

这里面有描述如何搭建的过程.

部署 chatglm3

git clone --recursive https://github.com/li-plus/chatglm.cpp.git && cd chatglm.cpp

git submodule update --init --recursive

Quant