《Granite 3.0 语言模型项目安装与配置指南》

《Granite 3.0 语言模型项目安装与配置指南》

granite-3.0-language-models 项目地址: https://gitcode.com/gh_mirrors/gr/granite-3.0-language-models

1. 项目基础介绍

Granite 3.0 语言模型是由IBM开发的一组轻量级、先进的开源基础模型。这些模型原生支持多语言、编程、推理以及工具使用，并且可以在受限的计算资源上运行。所有模型都公开发布在Apache 2.0许可下，供研究和商业用途。这些模型的数据精选和训练过程考虑了企业使用和定制化的需求。

本项目主要使用的编程语言是Python。

2. 项目使用的关键技术和框架

• 编程语言: Python
• 深度学习框架: Transformers（由Hugging Face提供）
• 训练策略: 双阶段数据混合、超参数搜索、3D并行计算等
• 模型类型: Dense模型和Mixture-of-Expert (MoE)模型

3. 项目安装和配置的准备工作

在开始安装前，请确保您的系统中已经安装了以下依赖项：

• Python 3.6或更高版本
• pip（Python的包管理器）
• torch（用于深度学习的Python库）

详细安装步骤

步骤 1: 克隆项目仓库

首先，您需要从GitHub上克隆这个项目。打开终端（或命令提示符），然后执行以下命令：

git clone https://github.com/ibm-granite/granite-3.0-language-models.git

步骤 2: 安装依赖

进入项目目录，安装所需的Python依赖。执行以下命令：

cd granite-3.0-language-models
pip install -r requirements.txt

步骤 3: 下载模型

根据需要选择一个模型进行下载。这里以granite-3.0-1b-a400m-instruct模型为例，执行以下命令：

git clone https://huggingface.co/ibm-granite/granite-3.0-1b-a400m-instruct

步骤 4: 使用模型

下载完模型后，您可以按照以下示例代码使用模型。确保您已经安装了Transformers库和torch。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "auto"
model_path = "path/to/granite-3.0-1b-a400m-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()

chat = [
    {"role": "user", "content": "请列出位于美国的一个IBM研究实验室。您只需输出它的名称和位置。"},
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
input_tokens = tokenizer(chat, return_tensors="pt").to(device)
output = model.generate(**input_tokens, max_new_tokens=100)
output_text = tokenizer.batch_decode(output)
print(output_text)

确保替换path/to/granite-3.0-1b-a400m-instruct为您的模型实际路径。

完成以上步骤后，您就可以开始使用Granite 3.0语言模型了。如果您遇到任何问题，请查阅项目的官方文档或在社区寻求帮助。

granite-3.0-language-models 项目地址: https://gitcode.com/gh_mirrors/gr/granite-3.0-language-models