翻译场景开源大模型：plamo-2-translate

1. PLaMo 翻译模型概述

PLaMo 翻译模型是由 Preferred Networks 开发的一款专注于翻译任务的大型语言模型。该模型主要针对翻译场景进行了优化，目的是提高翻译的准确性和效率。其开发背景是Preferred Networks在大规模语言模型领域的研究与探索，旨在为翻译任务提供专业的解决方案。

2. 模型类别

• plamo - 2 - translate ：这是一个经过专门训练的翻译模型，用于执行翻译任务。它是在基础模型之上进一步训练得到的，以更好地适应翻译需求。

• plamo - 2 - translate - base ：这是翻译任务的基础模型，为其他翻译模型的训练提供了基础架构和参数初始化。

• plamo - 2 - translate - eval ：这是一个用于成对评估的模型，主要用于比较不同翻译结果的质量，从而选择更优的翻译。

3. 使用方法

• 主要模型的使用

  • 使用的是 vllm 库来加载模型，通过指定模型名称为 “pfnet/plamo - 2 - translate”，并设置 trust_remote_code 参数为 True，以信任远程代码。

  • 可以根据 GPU 的资源情况调整 max_model_len 和 max_num_batched_tokens 参数，以优化模型的运行性能。

  • 在构建提示（prompt）时，需要遵循特定的格式，包括指定数据集类型为 “translation”，输入语言为英语，输出语言为日语，并在相应位置输入待翻译的文本。

• 评估模型的使用

  • 同样使用 vllm 库加载模型，模型名称为 “pfnet/plamo - 2 - translate - eval”。

  • 在提示中，需要指定数据集类型为 “translation evaluation”，输入语言为英语，输出多个不同编号的翻译结果，并通过设置 “<|plamo:op|>best” 来让模型选择最佳的翻译结果。

4. 潜在风险、偏差与限制

PLaMo 翻译模型作为一种新技术，在使用过程中存在一定的风险。目前的测试主要集中在英语和日语之间，无法覆盖所有可能的场景和语言组合。因此，模型可能会产生不准确、有偏差或者其他不当的响应。开发者在将该模型应用于实际场景之前，需要针对具体的应用进行安全测试和调整，以确保其输出符合预期和要求。

5. 许可与商业使用

PLaMo 翻译模型是在 PLaMo 社区许可协议下发布的，用户在下载和使用之前需要了解并同意该许可协议。对于商业用途，用户需要通过指定的链接与 Preferred Networks 联系，以获取相应的授权和使用指导。

6. 背景与政策

该模型的训练是在 “增强型后 5G 信息通信系统基础设施研究与开发项目”（JPNP20017）的资助下进行的，该项目由新能源和工业技术开发组织（NEDO）资助。同时，Preferred Networks 遵循其集团的 AI 政策，确保在开发和使用 AI 技术时符合伦理和法律标准，以及对社会负责。