本地部署huggingface模型，建立自己的翻译应用

过去，我们使用翻译接口时，往往都是使用百度等的接口，每天有一定量的免费额度。今天为大家介绍一个可以进行翻译的模型，具备英译中、中译英的能力。并且在这个过程中，向大家介绍一个如何在本地部署模型。在之前的”五天入门RAG“中，我们介绍过如何线上运行，但这是需要网络条件的，当你不具备时，可以在本地安装使用。

这个模型就是Helsinki-NLP/opus-mt-zh-en和Helsinki-NLP/opus-mt-en-zh。在后面，我们会再带大家体验具备语音翻译，转录的模型SeamlessM4T。

首先进入：https://huggingface.co/

搜索：Helsinki-NLP/opus-mt-zh-en

点击右边的compute试一下，翻译效果还不错。

然后点击files卡片。

主要下载如下的几个文件。

放到自己本地目录下：

然后输入我们的翻译代码：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

# 模型名称，如果模型已经下载到本地，可以直接指定路径
modelName = "D:/workspace/work/translate/bert_model/"
srcText = ["大家好，我是一只来自中国的大熊猫",
"在这种方式下，我们的transformers才能发挥最大的作用",
"啊！华山，你可真是壮美",
]


#---------------------------------

tokenizer = AutoTokenizer.from_pretrained(modelName)
model = AutoModelForSeq2SeqLM.from_pretrained(modelName)
translated = model.generate(**tokenizer(srcText, return_tensors="pt", padding=True))
# 返回结果
r = [tokenizer.decode(t, skip_special_tokens=True) for t in translated]


print(r)

代码可能会提示错误

那么我们安装这个就是了，代码如下：

pip install SentencePiece

然后再运行：

["Hello. I'm a big panda from China.", 
"In this way, our transformers will be most effective.", 
"Oh, you're so beautiful, Wahshan."]

同样的，英译中使用另一个模型即可。

我们简单解释一下代码！

AutoTokenizer.from_pretrained

用于加载预训练的文本处理模型（Tokenizer），以便将文本数据转换为模型可以接受的输入格式。这个方法接受多个参数，以下是这些参数的详细说明：

1.pretrained_model_name_or_path (str):

-这是最重要的参数，指定要加载的预训练模型的名称或路径。可以是模型名称（例如 “bert-base-uncased”）或模型文件夹的路径。

\2. inputs (additional positional arguments, optional)

它表示额外的位置参数，这些参数会传递给标记器（Tokenizer）的__init__()方法。这允许你进一步自定义标记器的初始化。

\3. config ([PretrainedConfig], optional)

这个配置对象用于确定要实例化的分词器类。

4.cache_dir (str, optional):

用于缓存模型文件的目录路径

\5. force_download (bool, optional):

如果设置为 True，将强制重新下载模型配置，覆盖任何现有的缓存。

\6. resume_download (bool, optional)：

-这是可选参数，如果设置为 True，则在下载过程中重新开始下载，即使部分文件已经存在。

\7. proxies (Dict[str, str], optional)

proxies（可选参数）：这是一个字典，用于指定代理服务器的设置。代理服务器允许您在访问互联网资源时通过中继服务器进行请求，这对于在受限网络环境中使用 Transformers 库来加载模型配置信息非常有用。

​ proxies = { “http”: “http://your_http_proxy_url”, “https”: “https://your_https_proxy_url” }

\8. revision (str, optional):

指定要加载的模型的 Git 版本（通过提交哈希）。

\9. subfolder (str, optional)

如果相关文件位于 huggingface.co 模型仓库的子文件夹内（例如 facebook/rag-token-base），请在这里指定。

\10. use_fast (bool, optional, defaults to True)

这是一个布尔值，指示是否强制使用 fast tokenizer，即使其不支持特定模型的功能。默认为 True。

\11. tokenizer_type (str, optional)

参数用于指定要实例化的分词器的类型

\12. trust_remote_code (bool, optional, defaults to False)

trust_remote_code=True：

默认情况下，trust_remote_code 设置为 True。这意味着当您使用 from_pretrained() 方法加载模型配置文件时，它将下载来自 Hugging Face 模型中心或其他在线资源的配置文件。这是一个方便的默认行为，因为通常这些配置文件是由官方提供的，且是可信的。

trust_remote_code=False：

如果您将 trust_remote_code 设置为 False，则表示您不信任从远程下载的配置文件，希望加载本地的配置文件。这对于安全性或定制性要求较高的场景可能是有用的。

在这种情况下，您需要提供一个本地文件路径，以明确指定要加载的配置文件

总之，trust_remote_code 参数允许您在使用 Hugging Face Transformers 库时控制是否信任从远程下载的配置文件。默认情况下，它被设置为 True，以方便加载官方提供的配置文件，但您可以将其设置为 False 并提供本地配置文件的路径，以进行更精细的控制。

AutoModel.from_pretrained()

AutoModel.from_pretrained() 是 Hugging Face Transformers 库中的一个函数，用于加载预训练的深度学习模型。它允许你加载各种不同的模型，如BERT、GPT-2、RoBERTa 等，而无需为每个模型类型编写单独的加载代码。以下是 AutoModel.from_pretrained() 函数的主要参数：

\1. pretrained_model_name_or_path (str):

-这是一个字符串参数，用于指定要加载的预训练模型的名称或路径。可以是模型的名称（如 “bert-base-uncased”）或模型文件夹的路径。

\2. *model_args

直接传参的方式，传入配置项，例如，我们将编码器层数改为3层

model = AutoModel.from_pretrained(“./models/bert-base-chinese”, num_hidden_layers=3)

加载模型时，指定配置类实例

model = AutoModel.from_pretrained(“./models/bert-base-chinese”, config=config)

3.trust_remote_code (bool, optional, defaults to False)

trust_remote_code=True：

默认情况下，trust_remote_code 设置为 True。这意味着当您使用 from_pretrained() 方法加载模型配置文件时，它将下载来自 Hugging Face 模型中心或其他在线资源的配置文件。这是一个方便的默认行为，因为通常这些配置文件是由官方提供的，且是可信的。

trust_remote_code=False：

如果您将 trust_remote_code 设置为 False，则表示您不信任从远程下载的配置文件，希望加载本地的配置文件。这对于安全性或定制性要求较高的场景可能是有用的。

在这种情况下，您需要提供一个本地文件路径，以明确指定要加载的配置文件

总之，trust_remote_code 参数允许您在使用 Hugging Face Transformers 库时控制是否信任从远程下载的配置文件。默认情况下，它被设置为 True，以方便加载官方提供的配置文件，但您可以将其设置为 False 并提供本地配置文件的路径，以进行更精细的控制。

hub_kwargs_names = [

“cache_dir”, #同上面

“force_download”,#同上面

“local_files_only”,

“proxies”, #同上面

“resume_download”, #同上面

“revision”, #同上面

“subfolder”, #同上面

“use_auth_token”,

]

local_files_only:

如果设置为True，将只尝试从本地文件系统加载模型。如果本地文件不存在，它将不会尝试从Hugging Face模型存储库下载模型文件。如果本地存在模型文件，它将从本地加载。如果设置为False（默认值），它将首先尝试从本地加载，如果本地不存在模型文件，它将尝试从Hugging Face模型存储库下载模型文件并缓存到本地，然后加载。

from transformers import AutoModel

model = AutoModel.from_pretrained(“bert-base-uncased”, local_files_only=True)

详解 use_auth_token 参数：

默认值：use_auth_token 参数的默认值通常为 None，这意味着在默认情况下不使用身份验证令牌。

作用：Hugging Face Model Hub 上的一些模型可能需要身份验证令牌才能访问。这通常是因为模型的创建者希望对其进行访问控制，或者出于其他原因需要进行身份验证。如果模型需要身份验证令牌，你可以在 use_auth_token 参数中提供有效的令牌，以便在下载模型时使用。

获取身份验证令牌：要获得有效的身份验证令牌，你需要注册并登录到 Hugging Face Model Hub，然后访问你的个人配置文件（profile），那里会提供一个 API 令牌（API token），你可以将其用作 use_auth_token 的值。

from transformers import AutoModel

# 使用身份验证令牌来加载模型

model = AutoModel.from_pretrained(‘model_name’, use_auth_token=‘your_auth_token’)

大多数模型不需要身份验证令牌，并且可以在不提供 use_auth_token 参数的情况下加载。只有在你确实需要进行身份验证才需要使用此参数。

model.generate()

model()的使用场景：当你需要对输入数据执行一次完整的前向计算时使用，如分类任务、特征提取等。
model.generate()的使用场景：当你需要模型自动生成文本或序列，尤其是在语言模型中，如GPT、T5等。

return_tensors=‘pt’, 自动的将所有的结果都转化成二纬的tensor数据，因此，后面我们还需要将数据进行解码，完成编码解码。

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

下面这些都是我当初辛苦整理和花钱购买的资料，现在我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。