在本地运行LLM的6种方法

关注

原创 2024-05-06 19:52:50 2.4k 阅读 AI 写同款· GEO 优化 ›

LLM推理部署（二）：英伟达LLM推理部署工具TensorRT-LLM 在大模型时代，各大公司在陆续推出和优化各自的底座大模型，不断刷新榜单，然而大模型的超大参数给生产部署带来了很大的困难，由此也带来大模型部署框架的蓬勃发展（可以参考之前写的。阅读详情

商业人工智能和大型语言模型（LLM）有一个很大的缺点：隐私！在处理敏感或专有数据时，我们无法从这些工具中受益。

这使我们了解如何在本地运营私有 LLM。开源模型提供了一种解决方案，但它们也有其自身的一系列挑战和好处。

和我一起探索 ChatGPT 的本地替代品，您可以在自己的计算机上运行它。

设定期望

开源非常广泛，有数千种可用的模型，从像 Meta 这样的大型组织提供的模型到个人爱好者开发的模型不等。然而，运行它们会带来一系列挑战：

它们可能需要强大的硬件：充足的内存，可能还需要一个 GPU
虽然开源模型正在改进，但它们通常无法与 ChatGPT 等更完善的产品的功能相匹配，后者受益于大型工程师团队的支持。
并非所有型号都可以用于商业用途。

正如谷歌泄露的一份文件所暗示的那样，开源和闭源模型之间的差距正在缩小。

在这里插入图片描述

1.Hugging Face and Transformers

Hugging Face 是机器学习和 AI 的 Docker Hub 等价物，提供了大量开源模型。幸运的是，Hugging Face 会定期对模型进行基准测试，并提供排行榜以帮助选择可用的最佳模型。

Hugging Face 还提供了 transformers，这是一个 Python 库，可以简化在本地运行 LLM。以下示例使用该库运行较旧的 GPT-2 microsoft/DialoGPT 中型模型。在第一次运行时，变形金刚将下载模型，您可以与它进行五次交互。该脚本还需要安装 PyTorch。

from transformers importAutoModelForCausalLM, AutoTokenizer
import torch

tokenizer = AutoTokenizer.from_pretrained("microsoft/DialoGPT-medium", padding_side='left')
model = AutoModelForCausalLM.from_pretrained("microsoft/DialoGPT-medium")
# source: https://huggingface.co/microsoft/DialoGPT-medium# Let's chat for 5 lines
for step in range(5):
    # encode the new user input, add the eos_token and return a tensor in Pytorch
    new_user_input_ids = tokenizer.encode(input(">> User:") + tokenizer.eos_token, return_tensors='pt')    # append the new user input tokens to the chat history
    bot_input_ids = torch.cat([chat_history_ids, new_user_input_ids], dim=-1) if step > 0 else new_user_input_ids    # generated a response while limiting the total chat history to 1000 tokens, 
    chat_history_ids = model.generate(bot_input_ids, max_length=1000, pad_token_id=tokenizer.eos_token_id)    # pretty print last output tokens from bot
    print("DialoGPT: {}".format(tokenizer.decode(chat_history_ids[:, bot_input_ids.shape[-1]:][0], skip_special_tokens=True)))

Transformers优点：

自动模型下载
可用的代码片段
实验和学习的理想选择

Transformers缺点：

需要对 ML 和 NLP 有扎实的理解
编码和配置技能是必要的

2. LangChain

我们可以在本地运行 LLM 的另一种方法是使用 LangChain。LangChain 是一个用于构建 AI 应用程序的 Python 框架。它提供了抽象和中间件，用于在其支持的模型之一之上开发 AI 应用程序。例如，以下代码向 microsoft/DialoGPT 中型模型提出一个问题：

from Langchain.LLMs.huggingface_pipeline import HuggingFacePipeline

hf = HuggingFacePipeline.from_model_id(
    model_id="microsoft/DialoGPT-medium", task="text-generation", pipeline_kwargs={"max_new_tokens": 200, "pad_token_id": 50256},
)
from langchain.prompts import PromptTemplatetemplate = """Question: {question}Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)chain = prompt | hfquestion = "What is electroencephalography?"print(chain.invoke({"question": question}))

LangChain的优点：

更轻松的模型管理
用于 AI 应用程序开发的有用实用程序

LangChain缺点：

限速，与变形金刚相同
您仍必须对应用程序的逻辑进行编码或创建合适的 UI。

3. Llama.cpp

Llama.cpp 是一个基于 C 和 C++ 的 LLM 推理引擎，针对 Apple 芯片进行了优化，并运行 Meta 的 Llama2 模型。

克隆存储库并构建项目后，我们可以使用以下命令运行模型：

$ ./main -m /path/to/model-file.gguf -p “Hi，there！”

Llama.cpp优点：

比基于 Python 的解决方案具有更高的性能
在适度的硬件上支持 Llama 7B 等大型模型
提供绑定以使用其他语言构建 AI 应用程序，同时通过 Llama.cpp 运行推理。

Llama.cpp缺点：

有限的模型支持
需要工具构建

4.Llamafile

Llamafile 由 Mozilla 开发，为运行 LLM 提供了一种用户友好的替代方案。 Llamafile 以其可移植性和创建单文件可执行文件的能力而闻名。

一旦我们下载了 llamafile 和任何 GGUF 格式的模型，我们就可以启动本地浏览器会话：

$ ./llamafile -m /path/to/model.gguf

Llamafile 优点：

与 Llama.cpp 相同的速度优势
您可以生成嵌入了模型的单个可执行文件

Llamafile 缺点：

该项目仍处于早期阶段
并非所有模型都受支持，只有 Llama.cpp 支持的模型。

5.Ollama

Ollama 是 Llama.cpp 和 Llamafile 的更用户友好的替代品。下载在计算机上安装服务的可执行文件。安装后，打开终端并运行：

$ Ollama Run llama2

Ollama 将下载模型并开始交互式会话。

Ollama优点：

易于安装和使用。
可以运行骆驼和骆马模型。
它真的很快。

Ollama 缺点：

提供有限的模型库。
自行管理模型，不能复用自己的模型。
运行 LLM 的不可调选项。
暂无 Windows 版本。

6. GPT4ALL

GPT4ALL 是一款易于使用的桌面应用程序，具有直观的 GUI。它支持本地模型运行，并通过 API 密钥提供与 OpenAI 的连接。它以其处理本地文档上下文的能力而著称，从而确保了隐私。

在这里插入图片描述

优点：

具有友好用户界面的精美替代品
支持一系列精选模型

缺点：

型号选择有限
某些型号有商业使用限制

结论

选择正确的工具在本地运行 LLM 取决于您的需求和专业知识。从用户友好的应用程序（如 GPT4ALL）到更多技术选项（如 Llama.cpp 和基于 Python 的解决方案），环境提供了多种选择。开源模型正在迎头赶上，提供了对数据和隐私的更多控制。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述