建立自己的ChatGPT：LLama私有化部署及测试

最新推荐文章于 2025-11-06 15:12:13 发布

原创

最新推荐文章于 2025-11-06 15:12:13 发布 · 1.2w 阅读

47 ·

CC 4.0 BY-SA版权

文章标签：

#chatgpt #机器学习

Meta的LLaMA大语言模型开源后，促进了Alpaca、Luotuo和Vicuna等轻量级模型的发展。Vicuna，基于LLaMA的13B参数模型，在对话性能上获得GPT-4的认可。研究人员提供了一套在CPU环境下运行Vicuna的方案，降低了使用门槛。

大语言模型（LLM）现在非常流行，可惜ChatGPT等都不开源。大家没法搭建一个自己的环境来感受以下。幸好Meta开源了LLama，这是LLama的介绍：

https://ai.facebook.com/blog/large-language-model-llama-meta-ai/

具体技术细节请看论文：

LLaMA: Open and Efficient Foundation Language Models

以 Meta 开源 LLaMA（直译为「大羊驼」）系列模型为起点，斯坦福大学等机构的研究人员先后在其上进行「二创」，开源了基于 LLaMA 的 Alpaca（羊驼）、Alpaca-Lora、Luotuo（骆驼）等轻量级类 ChatGPT 模型，大大降低了这类模型的研究、应用门槛，训练、推理成本一再降低。

近日，来自加州大学伯克利分校、卡内基梅隆大学、斯坦福大学、加州大学圣迭戈分校的研究者们又提出了一个新的模型 ——Vicuna（小羊驼）。这个模型也是基于 LLaMA，不过用到的是 13B 参数量的版本。

这个项目有趣的地方在于，作者在评测环节并没有通过某种「标准化考试」来测定模型性能（因为他们认为这些问题测不出模型在对话中的变通能力），而是让 GPT-4 当「考官」，看看 GPT-4 更倾向于 Vicuna-13B 还是其他基线模型的答案。结果显示，GPT-4