大语言模型训练与推理模型构建源码解读(huggingface)

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

我们已搭建了llama训练与推理方法，而llama模型来源huggingface提供。为此，本节来解读huggingface的llma模型训练与推理源码解读。

---

一、llama训练模型构建源码解读

我还是使用代码说下llama模型或大语言模型是如何调用llama模型，给出其对应构建流程，便于想深究的读者。

1、模型构建代码(自己搭建)

首先是模型搭建，我不在解读，如下代码：

model = AutoModelForCausalLM.from_pretrained(
  model_args.model_name_or_path,
  from_tf