OpenELM：高效语言模型的安装与使用教程

最新推荐文章于 2025-01-20 10:50:37 发布

詹恒达Finbar

最新推荐文章于 2025-01-20 10:50:37 发布

阅读量847

点赞数 28

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_02505/article/details/144421395

OpenELM：高效语言模型的安装与使用教程

OpenELM-3B-Instruct 项目地址: https://gitcode.com/mirrors/apple/OpenELM-3B-Instruct

OpenELM 是一种高效的语言模型家族，采用了层内参数缩放策略，可以在 Transformer 模型的每一层中高效地分配参数，从而提高模型的准确性。本文将详细介绍如何安装和使用 OpenELM，包括系统要求、安装步骤、基本使用方法和常见问题解答。

安装前准备

系统和硬件要求

在开始安装 OpenELM 之前，请确保您的系统满足以下要求：

操作系统：Linux 或 macOS
硬件：NVIDIA GPU（推荐使用 CUDA 11.6 及以上版本）

必备软件和依赖项

您需要安装以下软件和依赖项：

Python 3.8 或更高版本
pip：Python 的包管理工具
transformers：Hugging Face 提供的 Transformer 模型库
torch：PyTorch 库
datasets：Hugging Face 提供的数据集库

安装步骤

安装依赖项：

打开终端，运行以下命令安装依赖项：
```
pip install transformers torch datasets
```
下载预训练模型：

从 Hugging Face Hub 下载 OpenELM 模型，您可以使用以下命令：
```
python generate_openelm.py --model apple/OpenELM-3B-Instruct --hf_access_token [HF_ACCESS_TOKEN] --prompt 'Once upon a time there was' --generate_kwargs repetition_penalty=1.2
```
请将 [HF_ACCESS_TOKEN] 替换为您在 Hugging Face 上的访问令牌。如果您还没有访问令牌，请参考获取访问令牌。
验证安装：

在终端中运行以下命令，检查是否已成功安装 OpenELM：
```
python generate_openelm.py --model apple/OpenELM-3B-Instruct --hf_access_token [HF_ACCESS_TOKEN] --prompt 'Once upon a time there was'
```
如果输出了相关的文本，则表示安装成功。

基本使用方法

加载模型

在 Python 代码中，使用以下代码加载 OpenELM 模型：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "apple/OpenELM-3B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

简单示例演示

以下是一个使用 OpenELM 进行文本生成的示例：

def generate_text(prompt, max_length=50):
    inputs = tokenizer.encode(prompt, return_tensors="pt")
    outputs = model.generate(inputs, max_length=max_length)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

prompt = "Once upon a time there was"
generated_text = generate_text(prompt)
print(generated_text)

参数设置说明

在 generate 方法中，您可以根据需要设置以下参数：

max_length：生成的文本最大长度
repetition_penalty：惩罚重复内容的系数
num_beams：用于文本生成的 beam size
temperature：用于控制生成的随机性的温度系数
top_k：在生成时保留的 top k 个词汇
top_p：在生成时保留的 top p 个词汇的比例

常见问题解答

如何加快推理速度？

为了加快推理速度，您可以使用以下方法：

使用 prompt_lookup_num_tokens 参数进行查找表推测生成
使用辅助模型进行模型推测生成

如何评估 OpenELM 模型的性能？

您可以使用 Hugging Face 的 lm-eval 工具评估 OpenELM 模型的性能。请参考以下命令：

# OpenELM-3B-Instruct
hf_model=apple/OpenELM-3B-Instruct

# this flag is needed because lm-eval-harness set add_bos_token to False by default, but OpenELM uses LLaMA tokenizer which requires add_bos_token to be True
tokenizer=meta-llama/Llama-2-7b-hf
add_bos_token=True
batch_size=1

mkdir lm_eval_output

shot=0
task=arc_challenge,arc_easy,boolq,hellaswag,piqa,race,winogrande,sciq,truthfulqa_mc2
lm_eval --model hf \
        --model_args pretrained=${hf_model},trust_remote_code=True,add_bos_token=${add_bos_token},tokenizer=${tokenizer} \
        --tasks ${task} \
        --device cuda:0 \
        --num_fewshot ${shot} \
        --output_path ./lm_eval_output/${hf_model//\//_}_${task//,/_}-${shot}shot \
        --batch_size ${batch_size} 2>&1 | tee ./lm_eval_output/eval-${hf_model//\//_}_${task//,/_}-${shot}shot.log

shot=5
task=mmlu,winogrande
lm_eval --model hf \
        --model_args pretrained=${hf_model},trust_remote_code=True,add_bos_token=${add_bos_token},tokenizer=${tokenizer} \
        --tasks ${task} \
        --device cuda:0 \
        --num_fewshot ${shot} \
        --output_path ./lm_eval_output/${hf_model//\//_}_${task//,/_}-${shot}shot \
        --batch_size ${batch_size} 2>&1 | tee ./lm_eval_output/eval-${hf_model//\//_}_${task//,/_}-${shot}shot.log