有哪些在本地运行大模型的方法

前言

在本文中，我们将看到在本地运行任何 LLM 的不同方法

1/ LMStudio

LM Studio 是一款桌面应用程序，用于在计算机上运行本地 LLM。链接：https://lmstudio.ai/

2/ Ollama

Ollama 是一款工具，可让您在机器上本地运行开源大型语言模型 (LLM)。它支持多种模型，包括 Llama 2、Code Llama 等。它将模型权重、配置和数据捆绑到一个由 Modelfile 定义的包中。链接：https://ollama.com/

3/ HuggingFace 和 Transformer

Hugging Face 是机器学习和人工智能的 Docker Hub 版本，提供大量开源模型。Hugging Face 还提供 transformers，这是一个 Python 库，可简化本地运行 LLM 的过程。示例：如何运行 Microsoft 的 Phi 2import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

torch.set_default_device("cuda")

model = AutoModelForCausalLM.from_pretrained("microsoft/phi-2", torch_dtype="auto", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("microsoft/phi-2", trust_remote_code=True)

inputs = tokenizer('''def print_prime(n):
"""
Print all primes between 1 and n
"""''', return_tensors="pt"