大模型实践——初识huggingface transformers

本地实践参考链接

本地使用huggingface transformers的预训练大模型-知乎

ChatGLM-6B模型加载-知乎

构建能够使用 CPU 运行的 MetaAI LLaMA2 中文大模型-知乎

环境配置

pip3 install torch torchvision torchaudio
pip3 install transformers

llama-cpp-python

llama-cpp-python快速上手

想运行Llama的ggml模型，必须下载llama-cpp-python

注意：

• pip 安装 llama-cpp-python时，要先在电脑上下载VS2022，然后才能成功安装
• 如果模型是以.bin结尾的，要降低llama-cpp-python版本，或者将模型替换成.gguf结尾的模型才能加载成功
  pip install llama-cpp-python==0.1.78

实验结论

ChatGLM-6B 在CPU运行，三分钟才输出两个字“你好”，完全没法玩起来
LLaMA2-GGML 中文模型，效果并不理想，胡言乱语