什么是CSGHub？
CSGHub是一个开源、可信的大模型资产管理平台，可帮助用户治理LLM和LLM应用生命周期中涉及到的资产（数据集、模型文件、代码等）。CSGHub致力于提供一种专为大型模型原生设计，且能够私有化部署离线运行的资产管理解决方案。提供代码开源、可私有化部署的类Hugging Face平台功能，以类似GitLab管理源代码、OpenStack Glance管理虚拟机镜像、Harbor管理容器镜像以及 Sonatype Nexus 管理制品的方式，实现对LLM资产的管理。
您可通过访问CSGHub开源项目页面 https://github.com/OpenCSGs/CSGHub 或传神社区官方网站 https://opencsg.com 来获取更多详情和最新消息。
我们欢迎并鼓励用户在使用CSGHub的过程中，通过GitHub发起Issue来进行问题讨论或对CSGHub开源项目进行代码贡献，共同促进平台的持续发展和改善。
为什么要使用CSGHub？
在当前这个大模型多元化迅速演进的时代，数据及模型已逐步成为企业与个人用户最关键的数字资产。尽管如此，现阶段所面临的一系列问题，诸如管理工具的分散、管理手段单一、单机化等，不仅为安全运营带来了潜在风险，也对企业在大模型技术的持续创新及应用能力的发展构成了障碍。
我们认为大模型将会成为推动信息技术革命的核心动力。因此，探索一种更为高效、安全且可靠的管理策略，以优化和保护核心资产——即模型、数据和大模型应用代码，成为个人与企业共同面对的重大课题。为此，CSGHub项目应运而生，旨在针对上述挑战提供切实可行的解决方案。
CSGHub可以为您带来以下能力：
-
资产统一管理： 一站式Hub统一管理模型文件、数据集、大模型应用代码。
-
研发生态兼容： 同时支持HTTPS和SSH协议的Git命令和Web界面操作，同时提供企业内完全兼容Hugging Face SDK的研发生态，确保不同用户均可方便使用。
-
大模型能力扩展： 原生支持版本化管理、模型格式转化、数据自动预处理、数据集预览等功能。
-
权限与安全： 支持与企业用户系统集成、支持资产可见范围设置、外内部接口鉴权设计，满足企业安全需求。
-
私有化部署支持： 无互联网依赖、无云厂商依赖等外部依赖，可一键启动私有化部署。
-
大模型原生设计： 支持自然语言交互、模型一键部署、Agent与Copilot App等资产管理。
CSGHub技术特点
-
CSGHub整合了多源Git Server、Git LFS大文件存储协议和对象存储OSS等技术，提供可靠的数据存储层、灵活的基础设施接入层和高兼容的研发工具支持。
-
通过服务化的架构，CSGHub提供CSGHub Server后台服务和CSGHub Web Service的管理界面，普通用户可以快速使用Docker compose或Kubernetes Helm Chart启动服务，实现生产级的资产管理。具备自研能力的用户可利用CSGHub Server进行二次开发，将管理功能集成到外部系统或自定义高级功能。
-
CSGHub借助Apache Arrow和DuckDB等优秀开源项目，支持Parquet数据文件格式的预览，便于算法研究人员和爱好者进行本地化数据集管理。
-
CSGHub提供直观的Web界面和面向企业组织架构的权限设计，用户可通过Web UI实现版本控制管理、在线浏览和下载，也可以设置数据集和模型文件的可见范围，实现数据安全隔离，还可以对模型和数据集发起话题讨论。
教程内容
本教程旨在从实操入门、快速部署、基础概念以及应用视角多维度全面地向您介绍CSGHub，以便您能够高效掌握利用CSGHub及大模型能力。即使您之前没有部署经验，本教程也帮助您快速上手。针对更进阶的内容和高级功能，我们另外提供了面向高级用户和开发人员的文档，旨在提供详尽的说明和指导。
CSGHub SaaS快速入门指南
注册和设置
注册和登录
-
访问CSGHub SaaS服务：打开OpenCSG主页（https://opencsg.com/），体验CSGHub SaaS服务。
-
注册账户：点击页面右上角的登录/注册按钮。填写账户信息（用户名、密码、手机号和邮箱）完成注册。
-
登录：使用用户名和密码登录。
配置SSH密钥（可选）
-
添加SSH密钥：进入“账户设置 > SSH密钥”页面，点击添加SSH密钥。粘贴你的SSH公钥并保存。
-
使用Git命令：配置完成后，你可以使用Git推送和拉取仓库内容。
模型管理：创建、上传和下载
创建模型仓库
登录平台后，点击头像，选择新建模型按钮。点击后进入模型仓库创建页面，填写以下基本信息完成创建：
-
模型仓库的拥有者默认为用户名，但你可以从下拉菜单中选择组织名称。
-
模型名称和描述。
-
选择许可证类型。
-
选择是否将模型设为公开。
上传模型文件
-
通过网页上传：点击添加文件，选择“创建新文件”或“上传文件”。
-
通过Git上传：确保本地已安装Git并配置Git账户信息，然后按照以下步骤进行：
-
首先通过Git下载模型仓库，然后将要上传的模型文件复制到相应的仓库。
-
假设你的模型文件在本地目录/work/my_model_dir中，可以通过以下命令将文件上传至平台创建的模型仓库：
-
cd test_modelcp -rf /work/my_model_dir/* .git add .git commit -m "commit message"git push
下载模型
通过HTTP下载：
git lfs installgit clone https:/opencsg.com/models/demo/test_model.git
通过SSH下载：
git lfs installgit clone ssh://git@hub.opencsg.com/models/demo/test_model.git
-
通过网页下载：在文件列表页面点击下载按钮，直接下载文件。
-
通过Git下载：
-
通过SDK下载：CSGHub SDK提供了Python库，可以通过SDK下载数据。
推理与微调
推理
创建专用实例
在模型页面选择模型并点击部署。从下拉菜单中选择“专用端点”并进入创建页面。
注意：并非所有模型都支持创建专用端点。如果你希望使用的模型没有“专用端点”选项，请通过contact@opencsg.com联系我们。
在专用端点创建页面，填写以下基本信息后点击创建按钮。
-
-
端点名称：可自定义，需唯一。
-
模型ID：CSGHub社区中的模型ID。
-
副本范围：1~5。
-
选择地区和资源配置。
-
选择推理框架。
-
选择是否将端点设为公开。
-
使用专用端点
Summary页面可以看到专用端点的URL和运行状态。你可以使用该URL调用专用端点。
Playground模块允许用户通过图形界面与模型交互，测试推理结果，而无需编写代码。
微调
创建微调实例
在模型页面点击微调实例，进入创建页面。
注意：并非所有模型都支持创建微调实例。如果你希望使用的模型没有“微调实例”选项，请通过contact@opencsg.com联系我们。
在微调实例创建页面，填写以下基本信息后点击“创建实例”按钮。
-
-
实例名称：可自定义，需唯一。
-
模型ID：CSGHub社区中的模型ID。
-
选择地区和资源配置。
-
选择运行时框架。
-
使用微调实例
在概览页面配置参数，选择数据集并启动模型的微调过程。
你还可以点击“启动Notebook”按钮，通过Notebook界面对模型进行微调。
使用LLaMA Factory进行微调的重要参数示例
在配置好参数后，点击开始按钮，LLaMA Factory将根据你的设置启动模型微调。
微调结果
-
微调前：在聊天选项卡中，点击加载模型，在Web UI中与模型对话。输入想要询问的内容，点击提交。发送消息后，模型生成响应，但微调前可能无法正确回答中文问题。
-
微调后：点击卸载模型，然后点击加载模型，重新与微调后的模型对话。再次发送相同的内容，模型将根据数据集学习并能够正确回应中文问题。
这就是CSGHub SaaS服务的基本探索，更多信息请参阅OpenCSG文档中心。
OpenCSG文档中心：https://opencsg.com/docs/intro
欢迎加入传神社区
•贡献代码，与我们一同共建更好的OpenCSG
•Github主页
欢迎🌟：https://github.com/OpenCSGs
•Huggingface主页
欢迎下载:https://huggingface.co/opencsg
•加入我们的用户交流群，分享经验
扫描上方二维码添加传神小助手
“ 关于OpenCSG
开放传神（OpenCSG）成立于2023年，是一家致力于大模型生态社区建设，汇集人工智能行业上下游企业链共同为大模型在垂直行业的应用提供解决方案和工具平台的公司。
关注OpenCSG
加入传神社区
1325
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
