6 个在本地运行大模型的最佳 LLM 工具

本地运行 LLM 的工具

运行ChatGPT和Claude等大型语言模型 (LLM)通常需要将数据发送到OpenAI和其他 AI 模型提供商管理的服务器。虽然这些服务是安全的，但一些企业更愿意将数据完全离线，以获得更好的隐私。

本文介绍了开发人员可以用来在本地运行和测试 LLM 的六大工具，确保他们的数据永远不会离开他们的设备，类似于端到端加密保护隐私的方式。

为什么要使用本地法学硕士 (LLM)？

当用户使用LM Studio等工具运行本地 LLM 时，它不会收集用户数据或跟踪用户的操作。它可让您的所有聊天数据保留在本地计算机上，而无需与 AI/ML 服务器共享。

• 隐私：您可以以多轮方式提示本地 LLM，而无需提示数据离开本地主机。
• 自定义选项：本地 LLM 为 CPU 线程、温度、上下文长度、GPU 设置等提供高级配置。这类似于 OpenAI 的游乐场。
• 支持和安全：它们提供与 OpenAI 或 Claude 类似的支持和安全。
• 订阅和费用：这些工具可免费使用，无需每月订阅。对于像 OpenAI 这样的云服务，每个 API 请求都需要付费。本地 LLM 有助于节省资金，因为无需每月订阅。
• 离线支持：您可以在离线时加载和连接大型语言模型。
• 连接性：有时，连接到 OpenAI 等云服务可能会导致信号和连接不佳。

六大免费本地 LLM 工具

根据您的具体使用情况，您可以选择多种离线 LLM 应用程序。其中一些工具完全免费供个人和商业使用。其他工具可能需要向他们发送商业用途请求。有几种本地 LLM 工具可用于 Mac、Windows 和 Linux。以下是您可以选择的六种最佳工具。

1. LM 工作室

LM Studio可以运行任何格式的模型文件gguf。它支持来自Llama 3.1、Phi 3、Mistral和Gemmagguf等模型提供商的文件。要使用 LM Studio，请访问上面的链接并为您的机器下载应用程序。启动 LM Studio 后，主页会显示要下载和测试的顶级 LLM。还有一个搜索栏，用于筛选和下载来自不同 AI 提供商的特定模型。

搜索特定公司的模型会出现几种模型，从小到大量化。根据您的机器，LM Studio 使用兼容性猜测来突出显示可在该机器或平台上运行的模型。

LM Studio 的主要功能

LM Studio 提供与 ChatGPT 类似的功能和特性。它具有多种功能。以下重点介绍 LM Studio 的主要功能。

• 模型参数定制：这允许您调整温度、最大令牌、频率惩罚等。
• 聊天记录：允许您保存提示以供日后使用。
  参数和 UI 提示：您可以将鼠标悬停在信息按钮上以查找模型参数和术语。
• 跨平台：LM Studio 适用于 Linux、Mac 和 Windows 操作系统。
• 机器规格检查：LM Studio 检查计算机规格（如 GPU 和内存）并报告兼容型号。这可以防止下载可能无法在特定机器上运行的模型。
• AI 聊天和游乐场：以多轮聊天格式与大型语言模型进行聊天，并通过同时加载多个 LLM 进行实验。
• 面向开发人员的本地推理服务器：允许开发人员设置类似于 OpenAI 的 API 的本地 HTTP 服务器。

本地服务器提供示例 Curl 和 Python 客户端请求。此功能有助于使用 LM Studio 构建 AI 应用程序以访问特定的 LLM。

# 示例：重用您现有的 OpenAI 设置
from openai import OpenAI

# 指向本地服务器
client = OpenAI(base_url= "http://localhost:1234/v1" , api_key= "lm-studio" )

finish = client.chat.completions.create(
  model= "TheBloke/Mistral-7B-Instruct-v0.1-GGUF" ,
  messages=[
    { "role" : "system" , "content" :