LLMWare项目平台支持与部署指南

LLMWare项目平台支持与部署指南

llmware Providing enterprise-grade LLM-based development framework, tools, and fine-tuned models. 项目地址: https://gitcode.com/gh_mirrors/ll/llmware

项目概述

LLMWare是一个企业级的数据处理管道工具，专注于为大型语言模型(LLM)工作流提供完整的解决方案。该项目特别重视开源模型和本地部署模型的使用，为开发者提供了丰富的功能和灵活的部署选项。

平台支持

操作系统要求

LLMWare支持多种主流操作系统平台：

1. Mac系统：全面支持M1/M2/M3芯片的Mac设备
2. Windows系统：支持主流Windows版本
3. Linux系统：支持Ubuntu 20/22版本

硬件要求

• 内存：建议至少16GB RAM（用于在CPU上运行大多数本地模型）
• Python版本：需要Python 3.9或更高版本（从LLMWare 0.2.12开始支持Python 3.12）

特殊说明

1. Linux系统兼容性：

   • 基于GLIBC 2.31+构建
   • 可使用ldd --version命令检查GLIBC版本
   • 不兼容Ubuntu 18等使用较旧GLIBC驱动的Linux版本

2. 已弃用平台：

   • Linux Aarch64（0.2.6后不再维护）
   • Mac x86架构（0.2.10后不再维护）

数据库支持

LLMWare采用企业级数据存储方案，提供三种类型的数据存储支持：

1. 文本集合数据库

用于存储解析后的文本块和元数据，支持以下数据库：

• MongoDB
• Postgres
• SQLite

2. 向量数据库

用于存储和检索语义嵌入向量，支持：

• Milvus
• PG Vector/Postgres
• Qdrant
• ChromaDB
• Redis
• Neo4J
• Lance DB
• Mongo-Atlas
• Pinecone
• FAISS

3. SQL表数据库

用于表格数据处理和Text-2-SQL工作流，支持：

• Postgres
• SQLite

快速启动建议

对于初次使用者，推荐以下配置快速开始：

from llmware.configs import LLMWareConfig
LLMWareConfig.set_active_db("sqlite")  # 使用SQLite本地数据库

对于向量嵌入，可选择ChromaDB、LanceDB或FAISS，这些都不需要额外安装。

文件存储配置

LLMWare在运行过程中会在本地创建/llmware_data路径存储各种数据文件。

查看当前存储路径

from llmware.configs import LLMWareConfig
llmware_fp = LLMWareConfig().get_llmware_path()
print("当前数据存储路径: ", llmware_fp)

修改存储路径

from llmware.configs import LLMWareConfig

# 修改主路径和子路径名称
LLMWareConfig().set_home("/自定义/路径")
LLMWareConfig().set_llmware_path_name("自定义文件夹名")

# 验证新路径
llmware_fp = LLMWareConfig().get_llmware_path()
print("更新后的存储路径: ", llmware_fp)

本地模型管理

LLMWare将开源和本地部署模型视为"一等公民"，所有功能设计都优先考虑小型、专用的本地模型。

模型存储位置

• 默认从公共模型库获取模型并缓存到本地
• 本地存储路径：/llmware_data/model_repo
• Pytorch模型会存储在标准缓存路径中

查看模型存储路径

from llmware.configs import LLMWareConfig
model_fp = LLMWareConfig().get_model_repo_path()
print("模型存储路径: ", model_fp)

最佳实践建议

1. 开发环境选择：

   • 对于个人开发者，推荐使用Mac M系列或Ubuntu 22.04系统
   • 对于企业部署，建议使用Linux服务器环境

2. 数据库选择策略：

   • 小型项目：SQLite + ChromaDB组合
   • 中型项目：Postgres + PG Vector组合
   • 大型企业级项目：MongoDB + Milvus组合

3. 存储路径规划：

   • 开发阶段可使用默认路径
   • 生产环境建议设置专用存储路径
   • 确保存储路径有足够的磁盘空间，特别是使用大型模型时

4. 模型管理：

   • 定期清理不再使用的模型以节省空间
   • 考虑使用符号链接将模型存储指向大容量磁盘

通过合理配置平台环境和存储选项，开发者可以充分发挥LLMWare在企业级LLM应用开发中的强大功能。

llmware Providing enterprise-grade LLM-based development framework, tools, and fine-tuned models. 项目地址: https://gitcode.com/gh_mirrors/ll/llmware