weixin_43012017的博客

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。不想通过GitHub跳转到文档，可以通过下面的链接直接访问LLama-Factory官方文档。

魔搭社区（ModelScope）是由阿里达摩院牵头推出的AI模型社区，旨在降低AI的应用门槛，促进AI技术的普及和开放。社区提供了丰富的AI模型资源、易用的平台体验和开放的社区共建机制，已经成为国内领先的AI开发者社区之一飞桨星河社区（PaddlePaddle Star River Community）是飞桨（PaddlePaddle）开发者社区AI Studio的中文名字，于2023年正式官宣进行品牌升级。该社区致力于为AI学习者和开发者提供一个集学习、实训、交流和创作于一体的平台。

好记性不如烂笔头。

在没有互联网的环境下部署，可以将下载好的Ollama安装包复制到此环境安装，然后将下载好的模型复制到相应路径就可以在无互联网的环境下使用。默认安装后的目录：C:\Users\username\AppData\Local\Programs\Ollama。8B模型一般16GB内存就可以跑的很流畅，70B模型则至少需要64GB内存，有CPU就可以跑，当然有GPU更好。由于llama3对中文的支持并不是很好，需要中文的可以使用GitHub上开源的这个llama3中文微调模型。提问题，发现该模型给了很好的回复。