使用 LM Studio 在本地运行 LLM

您是否考虑过在计算机上本地运行 LLM？您可能需要考虑它的几个原因：

1. 离线：无需互联网连接。

2. 模型访问：在本地运行模型，您可以尝试一些您听说过的开源模型（Llama 2、Vicuna、Mistral、OpenOrca 等等…）。

3. 隐私：当您在本地运行模型时，不会将任何信息传输到云端。尽管在使用 GPT-4、Bard 和 Claud 2 等基于云的模型时，隐私问题可能被夸大了，但在本地运行模型可以避免任何问题。

4. 实验：如果你看到生成式人工智能的价值，那么你必须欣赏使用不同/不同策略训练的开源模型的潜力……并知道还有什么可用的。

5.成本：开源模型是免费的，其中一些模型可以不受限制地商业使用。

现在，GPT-4 确实被普遍认为是最好的生成式 AI 聊天机器人，但开源模型一直在变得更好，并且可能适合您的许多用例。在开源类别中，有许多有趣的竞争者。还有更多的专业化，这引起了一个有趣的论点，即在特定领域接受过高度培训的较小的法学硕士可能在这些特定领域更有用。

有人猜测 GPT-4 实际上并不是一个大型 LLM，而是一个“专家组合”(MoE)；较小的、专业的法学硕士一起工作。现在，OpenAI 一直对 GPT-4 的“秘密武器”保持沉默࿰