Smollm 项目使用教程

Smollm 项目使用教程

smollm Everything about the SmolLM2 and SmolVLM family of models 项目地址: https://gitcode.com/gh_mirrors/smo/smollm

1. 项目的目录结构及介绍

Smollm 项目是一个来自 Hugging Face 的开源项目，包含了一系列高效轻量级的 AI 模型，适用于文本和视觉任务。项目的目录结构如下：

smollm/
├── text/               # 包含 SmolLM2 相关的代码和资源
├── vision/            # 包含 SmolVLM 相关的代码和资源
└── tools/             # 包含共享工具和推理工具
    ├── smol_tools/    # 轻量级的 AI 助力工具
    ├── smollm_local_inference/
    └── smolvlm_local_inference/

• text/ 目录包含处理文本任务的 SmolLM2 模型的代码和资源。
• vision/ 目录包含处理视觉任务的 SmolVLM 模型的代码和资源。
• tools/ 目录包含项目中共用的工具和本地推理的相关代码。

2. 项目的启动文件介绍

项目的启动文件主要位于 text/ 和 vision/ 目录下，用于加载和运行 SmolLM2 和 SmolVLM 模型。

以下是 SmolLM2 模型的启动示例代码：

from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "HuggingFaceTB/SmolLM2-1.7B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint)

messages = [{
    "role": "user",
    "content": "Write a 100-word article on 'Benefits of Open-Source in AI research"
}]
input_text = tokenizer.apply_chat_template(messages, tokenize=False)

这段代码首先从 Hugging Face 的模型库中加载了一个预训练的 SmolLM2 模型及其分词器，然后创建了一个包含用户输入信息的消息列表，并使用 apply_chat_template 方法来准备输入文本。

3. 项目的配置文件介绍

项目的配置文件通常用于定义模型和推理过程中的参数。这些文件可能位于项目的根目录或相关子目录中，但具体文件名和内容会根据项目的具体实现而有所不同。

通常，配置文件可能包含以下内容：

• 模型配置：定义模型架构、学习率、批次大小等参数。
• 推理配置：定义推理过程中使用的设备、批次大小、推理精度等设置。

由于项目具体配置文件未提供，这里给出一个配置文件的示例格式：

model:
  architecture: SmolLM2-1.7B-Instruct
  learning_rate: 0.001
  batch_size: 32

inference:
  device: cuda
  batch_size: 16
  precision: float32

在实际使用中，你需要根据项目的具体情况来查找和修改配置文件。

smollm Everything about the SmolLM2 and SmolVLM family of models 项目地址: https://gitcode.com/gh_mirrors/smo/smollm