HuggingFace Transformer库学习

下载方式

方法一：通过镜像的方式下载：https://hf-mirror.com/

方法二：wget https://huggingface.co/bert-base-chinese/resolve/main/pytorch_model.bin

huggingface-cli download --token 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 --resume-download meta-llama/Llama-2-7b-chat-hf --local-dir Llama-2-7b-chat-hf

---

model = AutoModelForCausalLM.from_pretrained(model_path, low_cpu_mem_usage=True, **kwargs)

AutoModelForCausalLM：这是transformers库中的一个类，用于自动加载给定预训练检查点路径的因果语言模型（Causal Language Model，CLM）。因果语言模型是一种特殊的语言模型，它只考虑左侧的上下文来预测下一个词。这与双向模型（如BERT）不同，双向模型在预测时会考虑左右两侧的上下文。常见的因果语言模型有GPT系列。

from_pretrained(model_path, low_cpu_mem_usage=True, **kwargs)：

from_pretrained是一个类方法，用于从预训练的检查点加载模型。
model_path：这是预训练模型的路径或模型的名称。例如，它可以是gpt2（表示要从Hugging Face的model hub下载GPT-2模型）或一个本地文件路径（如./my_pretrained_model/）。
low_cpu_mem_usage=True：这是一个可选参数，当设置为True时，它会尝试在加载模型时优化CPU内存使用。这对于在资源有限的系统上加载大模型特别有用。
**kwargs：这是其他可选的关键字参数，它们会被传递给from_pretrained方法。这些参数可以用来覆盖模型的默认配置或指定其他加载选项。

总之，这段代码的目的是从给定的model_path加载一个预训练的因果语言模型，并尝试优化CPU内存使用。加载后，你可以使用这个模型进行各种任务，如文本生成、下一个词预测等。

---

from transformers import AutoTokenizer, AutoModelForCausalLM, AutoModel

tokenizer = AutoTokenizer.from_pretrained(pretrained_model_name, use_fast=False)
# 对句子进行分词和编码
sentence = '这是一个句子'
encoded_input = tokenizer(sentence,