书生大模型训练第4期之玩转HF/魔搭/魔乐社区

一：概述

        首先，很高兴，你可以看到这篇文章，本篇文章将基于书生大模型训练营第4期对HF/魔塔/魔乐社区进行介绍和本关的一些基本使用。

二：具体说明

        <1>HF/魔塔/魔乐社区的简单介绍

                Hugging Face（HF）社区是一个专注于自然语言处理（NLP）的开源社区，它提供了一个平台，让研究人员和开发者可以分享、发现和使用预训练的模型、数据集以及相关工具。

                魔搭社区（ModelScope）是阿里云推出的一个AI模型社区，它提供了模型即服务（Model as a Service）的平台，旨在帮助开发者和研究者零门槛体验和使用AI模型。

                魔乐社区（Modelers）是一个一体化开源平台，它集成了openMind Library和openMind Hub Client等工具套件，提供了模型库、数据集和体验空间等核心组件，覆盖了自然语言处理、视觉、音频等领域。

             <2>HF平台实践  

                                2.1 注册Hugging Face 平台 

                        注册Hugging Face平台需要魔法上网。

                        进入Hugging Face官网。
Hugging Face官网网址https://huggingface.co/                 进入官网之后，进行注册。

                                2.2 InternLM模型下载

                        HF它有一个最核心的项目，就是Transformers库，这个库功能非常强大，它可以直接使用预训练模型进行推理，提供大量的预训练模型供使用，使用预训练模型进行迁移学习。所以使用HF前，需要下载Transformer等一些常用的依赖库。

                        训练营文档里是以internlm2_5-1_8b举例，查看Hugging Face上模型的地址。在这里我换为其他模型：internlm2_5-20b-chat。

internlm2_5-20b-chat模型地址https://huggingface.co/internlm/internlm2_5-20b-chat        截图如下所示：

        

                                2.3 GitHub CodeSpace使用

                因为网络和磁盘有限，不建议在InternStudio上运行，因此在这里使用CodeSpace运行。
GitHub Codespace