在笔记本电脑上使用 LLMs 的 5 种方法

在网上使用 ChatGPT 很简单，只需有网络连接和好的浏览器即可。但这样做可能会泄露您的隐私和数据。OpenAI 存储了您的提示和其他元数据以重新训练模型。对于一些人来说可能不成问题，但注重隐私的人可能更愿意在本地使用这些模型，不受外部跟踪的影响。

本文将介绍五种在本地使用大型语言模型（LLMs）的方法。这些软件大多兼容所有主要操作系统，并且可以轻松下载安装。通过在笔记本电脑上使用LLMs，您可以自由选择模型，只需从 HuggingFace hub 下载模型即可开始使用。此外，您还可以授权这些应用程序访问您的项目文件夹，并生成上下文感知的响应。

1. GPT4All

GPT4All 是一款先进的开源软件，允许用户轻松下载和安装最先进的开源模型。

只需从网站下载并在系统上安装 GPT4ALL。接下来，从面板中选择适合您需求的模型即可开始使用。如果您安装了 CUDA（Nvidia GPU），GPT4ALL 将自动开始使用您的 GPU 生成每秒最多 30 个标记的快速响应。

您可以授予对包含重要文件和代码的多个文件夹的访问权限，GPT4ALL 将使用检索增强生成生成响应。GPT4ALL 用户友好，速度快，受到 AI 社区的欢迎。

2. LM Studio

LM Studio 是一款新软件，与 GPT4ALL 相比，它提