litgpt - 一站式的 LLM 开发和部署工具

更多AI开源软件：

AI开源 - 小众AIhttps://www.aiinn.cn/sources

litgpt专注于大型语言模型预训练、微调与部署的命令行工具，具有支持多种模型、先进技术优化、易用性与灵活性以及广泛应用场景等特点。通过LitGPT，用户可以高效地利用和定制大型语言模型，推动自然语言处理技术的发展和应用。

​

​

主要功能

• 支持多种模型：LitGPT支持超过20种大型语言模型，包括Mistral 7B和Phi 2等，涵盖不同规模和应用场景。
• 先进技术优化： Flash Attention：提高模型的运行速度，降低显存读写需求。 FSDP（全分片数据并行性）：实现大模型跨多个GPU的高效训练。
• 多精度计算：支持从浮点32到更低精度的数据类型，降低计算资源需求。
• 量化技术：包括4位浮点数和8位整数，甚至双量化，进一步节省内存。
• 参数效率的微调策略：如LoRA、QLoRA和Adapter，允许在不显著增加模型大小的情况下进行有效的微调。

开始使用

安装 LitGPT

pip install 'litgpt[all]'

加载和实用 20+ LLMs:

from litgpt import LLM

llm = LLM.load("microsoft/phi-2")
text = llm.generate("Fix the spelling: Every fall, the familly goes to the mountains.")
print(text)
# Corrected Sentence: Every fall, the family goes to the mountains.